Andrew Ng对 Geoffrey Hinton 的采访：致敬老爷子的一路坚持！

这里是北京大学深度学习实验室

欢迎大家关注我们获取更多资讯

为了学习一下 Ng 讲课的好风格，前段时间专门抽出时间去看了下他最近推出的 deep learning mooc 课程，希望自己下次再给学生讲深度学习的时候能够讲得更好一些。

意想不到的是课程里竟然专门有个大插曲是采访 Hinton 的，链接如下：

https://www.coursera.org/learn/neural-networks-deep-learning/lecture/dcm5r/geoffrey-hinton-interview

采访时间40分钟，第一次听老爷子这么长的 interview。他大体讲述了自己在神经网络和 AI 方面四十多年的努力，一路听来钦佩至极。之前对这位老爷子的了解就是： Godfather of Deep Learning, 大名鼎鼎的 Bool 的外孙，以及他发明的影响至今的各种 deep learning 的Landmarks：Backprop、RBM (及其学习算法constrastive divergence) 、ReLU network、AlexNet、RMSProp、Dropout...等等。自己有幸和老爷子是爱大校友 :)

但通过这次 interview 之后，对老爷子在神经网络和 AI 方面的一路坚持钦佩至极，70岁的人了思维依然敏捷，依然活跃在 AI 的一线科研当中。我大体总结一下他提到的一些关键的技术或者想法，以及背后的故事和启发。

关于科研： "Develop your intuition, trust it and go for it. Don't be too worried even if everybody else says it's nonsense." 这是老爷子给研究人员在深度学习和 AI 方面的建议。现在对于 AI 和深度学习，由于缺少深刻的理解，更多的是靠直觉产生新的想法，接着去发展、去尝试，谁也不敢下定论你的尝试一定不 work。 老爷子接着强调"if you think it is really a good idea, and other people tell you it is completely nonsense, and then you know you are on to something." 老爷子用自己在神经网络方面40多年的经历告诉我们这一点，但也必须说一下有时候没有太大成果的时候要 face reality，这是每个做科研的都要面临的问题，毕竟还有一些现实的压力。

这倒是让我想到当前 DL /RL的研究现状，大多数最前沿方向的思路都是被大公司或者大规模的研究组统治的，因为现在太多的想法需要投入很多人力物力和计算资源才能实现，大组织就很占优势。所以大家尽量不要完全 follow 他们的工作，尽量和他们做的不是太一样，这样也许会有好的结果，不然就会出现一步赶不上不不赶不上的尴尬局面。仅仅是个人观点。

老爷子的 backprop 不是全新的想法，但他使得这个算法得到了大规模推广，得益于他大力的游说 reviewer 让他的文章发表在了 nature 上。

其实老爷子的很多发明都是经过漫长的尝试摸索最终使其 work 的，relu,dropout,wake-sleep,distillation这些都是。

老爷子有些可惜自己关于 identity initialization 的想法没能最终正式的 formulate 让它 work 起来，不然就没有ResNet 什么事了。

最后谈一下capsule 的想法，其实这个想法 hinton 很早就有了（和他的学生 Tijmen http://www.cs.toronto.edu/~tijmen/tijmen_thesis.pdf， chap 2.3），我第一次听到这个想法的讨论还是2014年在我博士期间，我们几个同事在一起讨论 capsule是不是 hinton 在深度学习的下一个突破。最近hinton 在 MIT 的一个 talk 也有讲。（链接在下面）

capsule 的简单想法就是将每层的神经元进行重新有结构化的组织形成一个 capsule，这个 capsule 里包含物体识别的全部信息，比如view point, color 等等，然后将所有的 capsule 的输出进行投票作为最终输出，其实这一点是product of experts的想法

关于 capsule 我觉得目前还没有找到一个好的定义内部结构的方式，使得他能够在更有挑战的任务上工作起来。还是一个很值得努力的方向。

老爷子还在 talk 里用拼四面体的游戏开了 MIT 教授的玩笑， What's wrong with convolutional nets?

就写到这里，附一张老爷子小时候的照片，胆子大得很！看来多少年来一直没变，一直敢在自己坚信的领域坚持这么多年！

作

者

简

介

朱占星，北京大学数据科学研究中心研究员，北京大数据研究院研究员。2016年在英国爱丁堡大学获得机器学习方向博士学位。 主要研究领域为人工智能，机器学习，深度学习的优化方法，深度学习机制理论，大规模贝叶斯计算与优化理论，机器学习在交通大数据应用及计算机图形学中的应用等，在机器学习领域顶级期刊及会议有多篇文章发表，包括NIPS, ICML, ACL, AAAI及 ECML 等。