原标题：解开深度学习黑盒子的第一步，DeepMind用删除法了解个别神经元的重要性

深度神经网络可以解决不少大范围具有挑战的任务，但是深度神经网络由许多独立的神经元组成，因此计算的过程非常复杂，也常常被称为黑盒子，DeepMind近日发表一篇论文，通过神经元的删除法（Neuron△deletion），了解个别神经元对神经网络的重要性，试图了解深度学习的运作过程。

DeepMind认为，了解深度学习网络如何运作是很重要的，若能解释神经网络如何制定决策将有助于日后建立更精准的模型，这就像是，在不了解每个机械零件如何运作，就要打造出一个时钟是非常困难的。其中一个可以解开深度学习黑盒子的方法是，针对较容易解释的神经元，来理解每个独立的神经元在神经网络终所扮演的角色。

DeepMind的神经元删除法是受到存在数十年的神经学研究启发，这项研究主要是借由删除一小部分的神经元，来探讨一小群神经元对整个神经网络的重要性，研究了较容易解释的神经元是否对神经网络的计算较为重要，DeepMind的研究团队利用删除部分的神经元来观察神经网络的表现，而这项实验发现了两个出乎意料的结果。

第一，过去许多研究聚焦于理解较易解释的神经元，这类的神经元称为选择型神经元，像是分类猫的神经元，或是在深度神经网络的隐藏层中，只对猫的图片有反应 （Active）的神经元，但是，DeepMind的研究团队发现，这些神经元都没有不容易解释的神经元来得重要。

DeepMind表示，虽然分类猫的神经元比较容易理解，但是它并不是非常重要，在神经学和深度神经网络的研究中，都已经分析了只对单一汇入的图像类别（例如：狗）反应的神经元。

也因此，像是猫神经元、情感神经元都被视为较为重要的神经元，相较于这类的神经元，对于汇入图像随机产生反应，由于较难理解，一直无法证实这些难以理解的神经元重要性。

为了评估神经元对深度神经网络的重要性，DeepMind测量了删除个别神经元后，神经网络对于分类图像表现的变化，若该神经元对于整个神经网络非常重要，则删除后会导致神经网络的表现变差，相同地，如果该神经元对神经网络的重要性不高，则不会对神经网络的表现造成太大的影响，这项方法神经学中较为常见，但是不容易实践于人类大脑的研究，而这个方法用于研究人工的神经网络则是可行的。

DeepMind通过概念图（如下图）展示删除神经元来评估神经元重要性的方法，颜色越深的神经元代表该神经元越活跃，经由删除的方法，可以了解有些神经元的确对整个神经网络较为重要。特别的是，DeepMind发现对特定图像有明确反应的神经元反而较不重要，而那些不容易解释的神经元隐藏了更多有用的资讯，研究人员若要了解深度神经网络，应该要研究这些不易解释的神经元。

第二个令人惊讶的结果则是能够正确分类未曾出现在训练集图片的神经元，比只能分类训练过图片的神经元，在删除神经元实验中更能够适应，也就是说，这些能够正确分类未曾出现在训练集图片的神经元对单向的依赖性较小。DeepMind试图打造出聪明的神经网络模型，而聪明的模型则是要在未经训练的情况下，也可以正确地分辨，若是一个分类模型只能分辨出已经训练过的狗图片，却无法分辨出不同图片但同种类的狗，这样的模型就无法发挥效益。

不过，要分辨出一个模型，是否学会像人类一样通过辨特征来分类，还是只是记下每一个图片来分类图像，并不是这么简单。

通过删除越来越多的部分神经元，可以发现通过特征来分辨图像的神经元相较于记忆型的神经元还要坚固，也就是说，有学习能力的神经元在经历删除法的过程中，分类表现比较不容易受到影响，这样的实验方式可以判断神经网络是否通过“作弊”的方式在分类图像，理解神经网络中两种类型的神经元，可以让研究人员建立出更不依赖记忆的神经网络。

tags：

上一篇  下一篇

相关：

英特尔释出开源深度学习编译器nGraph

英特尔释出了开源的深度类神经网络（Deep△Neural△Network，DNN）模型编译器nGraph，让资料科学家可以专心于资料科学研究上，而不需要担心DNN模型训练以及执行在不同装置上的配置问题。英特尔指出，由于深度学习框架

万钢指人工智能要与经济社会深度融合

科技部部长万钢表示，人工智能要与经济社会深度融合，一定要以开源开放为基本原则。他在北京两会期间召开记者会时指出，要将人工智能渗透到各个领域，最关键是把人工智能的关键技术和基础研究做好，而且很快地拓展到

谈谈玉雕“工”、“艺”的重要性 推荐

玉鱼，战国勾连纹玉鱼“巧夺天工”是对那些传世佳作的形容及赞美，中国古代的玉雕制品也无不透露着那种精美与精巧绝伦的信息。同其他雕刻艺术相比较，因为材质的特性，玉雕制品有着其自身的特点——圆润、流畅、端庄

缅甸首都发生地震 震感强烈深度10公里

近日，缅甸首都内比都西北方向发生里氏5.3级地震，震源深度10公里，内比都震感强烈，有没有人员受伤？周边地区有没有损坏？ 法律法规网综合消息 当地时间今天凌晨3点43分，在位于东经95度54分，北纬19度50分，缅甸

伊朗发生 6.2 级地震 震源深度 10 千米 [快讯]

图片来源：国家地震台网官方微博中新网12月13日电据国家地震台网官方微博消息：中国地震台网正式测定：12月13日05时41分在伊朗(北纬30.80度，东经57.25度)发生6.2级地震，震源深度10千米。