谷歌新研究探寻神经网络的可解释性，让神经元可视化

来源：Google Research Blog

编译：Bing

编者按：去年，论智曾介绍过GoogLeNet在神经网络特征可视化上的最新进展，他们指出，特征可视化作为最有希望解释神经网络的工具，它本身还有诸多问题亟待解答。今天，谷歌大脑发文探索了神经元激活的情况，并为每个神经元配上可视化的图片。谷歌将此比作为神经网络的MRI（核磁共振成像）。

2015年，为了了解神经网络是如何理解图像的，谷歌推出了印象派的迷幻图像。在那之后，他们开源了代码，将其命名为DeepDream，并且之后演变成了一种艺术风格，产生了许多令人惊叹的成果。但是对于DeepDream背后的研究仍在继续，研究人员试图解决深度学习中最令人兴奋的问题之一：神经网络的结果是如何做到的？

去年，谷歌在在线期刊Distill中发表了文章，解释了这些技术是如何展示网络中单个神经元的工作原理。这让我们看到了网络中间的神经元是如何探测各种物体的，例如按钮、布块、建筑等，以及它是如何在网络层面上构建越来越复杂的网络的。

GoogLeNet神经元可视化

让神经元变得可视化的确让人很激动，但是谷歌去年的工作漏掉了重要的一件事：这些神经元是如何组合起来让神经网络工作的呢？

今天，他们在Distill上发布了新文章——The Building Blocks of Interpretability，探寻特征可视化如何与其他可解释的技术结合，帮助我们了解神经网络的决策过程。他们证明了这些组合仿佛让人们处在神经网络之中，并看到当时正在做的决策，以及最终它是如何影响输出的。例如，可以看到当神经网络检测“垂耳”时，“拉布拉多犬”或“比格犬”的图像可能性上升。

谷歌研究人员表示：“我们一直在探索一种能确定网络中哪个神经元正在工作的技术。通常情况下，如果我们想知道哪些神经元被激活了，通常的答案是：‘神经元538激活了一点点。’这种回答毫无意义，对专家来说根本没有帮助。我们的技术将每个神经元可视化，让这个问题更有帮助，也就是说我们可以看到类似‘垂耳探测器被激活’的东西，就像给神经网络做了核磁共振。”

神经网络的力量依赖于隐藏层。在每个隐藏层，网络会发现一个输入的新表示。在计算机视觉领域，我们利用神经网络在每个位置的特征运行多个特征探测器，我们可以将每个图层学到的表征看成是一个三维立方体，立方体的每个单位都是一个激活，或者是神经元激发。如下图所示，X轴和Y轴表示图像位置，Z轴表示正在运行的通道（或探测器）。

但是，想要理解这些激活神经元是困难的，因为我们经常用抽象的向量表示。不过，有了特征可视化工具，我们可以将抽象的向量转化成更有意义的“语义词典”。

为了建立语义词典，我们将每个神经元激活和可视化结果配对，然后根据其激活程度进行分类。这种方法改变了以往利用数学的方法，现在，激活映射到的是图标表示，而不是抽象的索引。

语义词典让我们对激活有了细致的了解，即知道了单个神经元检测到了什么。建立了这个表示，我们也能够将激活向量看成一个整体。除了将单个神经元可视化，我们可以将某一位置已被激活的神经元结合，进行可视化。

在所有激活向量上应用了这一技术后，我们不仅能看到每个位置上的神经元检测到了什么，还能看到网络如何理解输入图像的。

另外，在图层之间（例如“mixed3a”，“mixed4d”），我们能发现神经网络是如何理解发展的：从在较靠前的图层中检测边缘，到在后面图层中检测更复杂的图形和目标物体。

我们可以缩小图像，看看在不同的层上图像是被如何观察的，从中我们可以看到，网络检测到非常简单的边缘组合，到复杂的纹理和3D结构，再到更高级的结构如耳朵、鼻子、头部和腿等的过渡。

这些功能听起来很让人激动，而更令人兴奋的是，它们可以和神经网络的最终决策联系起来。因此，我们不仅可以看到网络检测“垂耳”，还能看到它是如何识别一张拉布拉多犬的图像的。具体研究细节可查看Distill上的英文原文，地址：distill.pub/2018/building-blocks/

除此之外，谷歌还发布了Lucid，这是基于DeepDream打造的神经网络可视化库。它能制作出上图那种排序清晰的特征可视化图像，以及更具有艺术性的DeepDream图像。

另外还发布了colab notebooks，这些笔记内容能让Lucid的使用变得更加简单。只需要打开笔记，点击按钮就能运行代码了，无需安装设置。

在colab notebooks中，点击按钮运行代码，你可以在下方看到结果

这项工作只是了解神经网络的第一步，我们很高兴其他人能和我们共同努力，更深入地了解神经网络。

谷歌博客地址：research.googleblog.com/2018/03/the-building-blocks-of-interpretability.html

Distill地址：distill.pub/2018/building-blocks/