卷积神经网络时代要结束！AI教父Hinton的胶囊网络已开源

整理 | 都保杰

微信 | ai_xingqiu

网址 | 51aistar.com

在人工智能或者说深度学习研究领域，杰弗里·辛顿(Geoffrey Hinton)被称作“深度学习”之父，当年Hinton带着两个研究生，向世界展示了一个他几十年来一直致力倡导却并不受待见的计算机技术——人工智能神经网络。

2012 年，计算机硬件的性能大幅提高，计算资源也越来越强，他的理论终于在实践中充分发展。他利用卷积神经网络 (CNN) 参加了名为“ImageNet大规模视觉识别挑战”的比赛，比赛的其中一项是，让机器辨认每张图像中的狗是什么类型，从而对100多种狗进行分类。

在比赛中，Hinton带着他的学生以16%的错误率获胜——这个错误率低甚至低于人眼识别的错误率18%，并且远低于前一年25%的获胜成绩，这让人们见识了基于CNN深度学习的潜力，从此，CNN一炮而红，微软，IBM，谷歌，Facebook等许多网络科技巨头都为之着迷起来，现在也成为整个人工智能行业科技公司最依赖的基石算法技术之一。

他的学生和博士后领导着苹果、Facebook以及OpenAI的人工智能实验室，而Hinton本人是谷歌大脑（Google Brain）人工智能团队的首席科学家。

与大家热捧人工智能的态度不同，Hinton曾批评目前很多计算机学科的学术会议全都充斥着关于深度学习的论文，这些会议只是着眼于微小的改进，而不是深刻思考为何有些问题无法用深度学习算法来解决，或者用什么新的算法能够解决这些难题。

意识到当下深度学习算法的局限和年代性，杰弗里·辛顿近几年已经开始了全新的探索，试图构建一套新的人工神经网络——Capsule Network（胶囊网络）。他有一句话：“如果你想目睹下一个划时代的发现，一个用更灵活的智能奠定机器基础的技术，你应该看看那些从80年代开始的反向传播研究，那些对尚未成功的理念坚持不懈的聪慧之人。”

目前的神经网络中，每一层的神经元都做的是类似的事情，比如一个卷积层内的每个神经元都做的是一样的卷积操作。而Hinton坚信，不同的神经元完全可以关注不同的实体或者属性，比如在一开始就有不同的神经元关注不同的类别（而不是到最后才有归一化分类）。具体来说，有的神经元关注位置、有的关注尺寸、有的关注方向。这类似人类大脑中语言、视觉都有分别的区域负责，而不是分散在整个大脑中。

为了避免网络结构的杂乱无章，Hinton提出把关注同一个类别或者同一个属性的神经元打包集合在一起，好像胶囊一样。在神经网络工作时，这些胶囊间的通路形成稀疏激活的树状结构（整个树中只有部分路径上的胶囊被激活），从而形成了他的Capsule理论。

Capsule这样的网络结构在符合人们“一次认知多个属性”的直观感受的同时，也会带来另一个直观的问题，那就是不同的胶囊应该如何训练、又如何让网络自己决定胶囊间的激活关系，Hinton也接连发表过论文进行测试验证。

在论文中，作者曾对胶囊的表现进行了讨论。他们认为，由于胶囊具有分别处理不同属性的能力，相比于CNN可以提高对图像变换的健壮性，在图像分割中也会有出色的表现。胶囊基于的“图像中同一位置至多只有某个类别的一个实体”的假设也使得胶囊得以使用活动向量这样的分离式表征方式来记录某个类别实例的各方面属性，还可以通过矩阵乘法建模的方式更好地利用空间信息。不过胶囊的研究也才刚刚开始，他们觉得现在的胶囊至于图像识别，就像二十一世纪初的RNN之于语音识别 —— 研究现在只是刚刚起步，日后定会大放异彩。

而日前，Hinton的胶囊网络论文《Dynamic Routing between Capsules》的在GitHub公布了代码，使用TensorFlow和NumPy实现，只有一台GPU也行，仅仅5天，fork的数量就超过了1.4万，大有要用它取代CNN的气势。

不过，本次开源非常低调，隐藏在谷歌tensorflow的专题之下，没有相关报道，谷歌也搜不到，不熟悉Github的同学很难查找。

先放上链接：

https://github.com/Sarasra/models/tree/master/research/capsules

本次的开源项目代码发布者是Hinton论文Dynamic Routing Between Capsules的第一作者Sara Sabour。

寻找路径如下：

Hinton敢于推翻自己30年的研究成果并发明“胶囊网络”或将重建整个AI世界观，并推动人工智能基础科学研究迈上新的台阶，广大技术人员们赶紧的跟上大神节奏了。

“卷积神经网络（CNN）的时代已经过去了！”

——Geoffrey Hinton

如果你是

AI行业人士

如果你想了解最前沿的AI技术和场景应用

一网打尽AI界前瞻科技和深度报道

如果你想持续拉升逼格

欢迎关注AI星球，并转发朋友圈为我们打Call哦~~

你们的支持才是我们创造优质内容的不竭动力~送你花花