图灵奖「拥抱」深度学习

摘要

「我们很难预测未来……但是有些事情我们可以预测，比如深度神经网络这项技术会改变一切。」

ACM（国际计算机协会）在美国当地时间 3 月 27 日公布了 2018 年图灵奖的授予结果。ACM 将本届图灵奖颁给了深度学习领域，并且赞誉三位获奖人为「深度学习之父」。他们分别是：Yoshua Bengio，蒙特利尔大学教授，人工智能孵化器 Element AI 联合创始人；Geoffrey Hinton，多伦多大学名誉教授，Google Brain 高级研究员；Yann LeCun，纽约大学教授，Facebook 首席 AI 科学家。

「人工智能是现在所有科学中发展最快的领域之一，也是社会上谈论最多的话题之一。」ACM 主席 Cerri M. Pancake 说，「人工智能的发展很大程度上归功于由三位奠定基础的深度学习领域内的最新成就。」「只要口袋里有智能手机的人都可以切实体会到自然语言处理和计算机视觉方面的技术进步，这在十年前是无法想象的。除了我们每天使用的产品，深度学习的新进展为科学家们带来强大的新工具—从医学、天文学到材料科学。」

神经网络是一种运算模型，由大量简单的神经元之间相互连接构成。通过改变连接点上的权重（weight），可以改变神经网络执行的计算。Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun 认识到了构建多层网络的重要性，「深度学习」的概念由此诞生。

在传统计算中，计算机的每一步都有明确的指令。而在深度学习中，计算机没有被明确告知如何解决特定的任务，而是通过学习算法来提取数据中的模型，将输入数据与期望输出联系起来。研究人员面临的挑战是开发能够修改人工神经网络中连接权重的有效学习算法，以便这些权重能够捕获数据中的相关模型。

本届图灵奖获得者之一：Yoshua Bengio〡视觉中国

铺路

20 世纪 80 年代，Geoffrey Hinton 受人类大脑的启发，提出将人工神经网络作为机器学习研究基石的想法。1983 年，Hinton 与其他学者共同发明了玻尔兹曼机，也是第一个受统计力学启发的多层学习机。

三年之后，Hinton 与 David Rumelhart 等人联合发表了一篇开创性的论文，证明反向传播算法能让神经网络发现自己内部的数据表征，这在以前是无法实现的。目前，反向传播算法是大多数神经网络的标准算法。

在 Hinton 拥抱神经网络概念的时候，大多数研究学者还认为神经网络是一条「死胡同」。相反，他们认为以一套规则和逻辑把人类专业知识编码的软件才是通向人工智能最好的方法。

如今，利用反向传播算法的深度神经网络为人工智能的大部分工作奠定了基础。从 Facebook 给照片中的朋友自动打标签，到亚马逊 Alexa 语音识别，再到 Google 把英文翻译成普通话，利用反向传播算法的深度神经网络在一步一步扩大应用范围。

曾经在 Hinton 指导下做了一年博士后研究之后，Yann LeCun 搬到了 AT&T 的贝尔实验室（Bell Labs）。基于反向传播算法，LeCun 开发了卷积神经网络（CNN），实现机器读取手写字母和数字。AT&T 将这套系统售卖给银行，后者一度承担了美国 10% 手写支票的读取工作。

90 年代早期，Yoshua Bengio 与 LeCun 共同在贝尔实验室工作，寻求计算机视觉上的突破。之后，Bengio 将神经网络应用于自然语言处理，推动了机器翻译的巨大进步。2014 年，Bengio 与 Ian Goodfellow 共同发表生成式对抗网络 (GANs) 的开创性文章，在计算机视觉和计算机图形学领域引发了一场「革命」

正如 ACM 在官方公布中写道，三位获奖者以独立或者合作的方式，不仅为深度神经网络奠定了概念基础，还证实了深度神经网络在实际应用中具有优势。30 多年来，从不被多数学者认可，到摘得计算机界的最高殊荣，Hinton 说，这一路走来，他们经历了很多「黑暗时刻」。

本届图灵奖获得者之一：Geoffrey Hinton〡ACM 官网

「黑暗时刻」

其实，神经网络的概念可以追溯到更早。上个世纪 50 年代，一个叫弗兰克·罗森布拉特（Frank Rosenblatt）的教授，开发了一种基于神经网络概念的感知器 Perceptron。罗森布拉特声称，Perceptron 不仅可以学习做类似识别图像这样的小任务，而且理论上还可以教会机器走路、说话和表达情感。但它只有一层神经元，这意味着它的功能极其有限。后来马文·明斯基撰写了一本书，详细地介绍了 Perceptron 和神经网络的局限性，学界对神经网络的研究因此搁置了。

Bengio 在采访中回忆道，「1985 年，神经网络是一个边缘事物，我在麦吉尔大学的课上只是学习符号主义人工智能。我必须说服我的教授让我研究神经网络，我们达成了一个协议，我拿政府的奖学金，可以做机器学习，但是我会把研究成果应用在他关注的事情上，比如语音识别。」

在 80 年代后期和 90 年代早期，神经网络有过短暂的「复兴」。基于神经网络，研究学者做了一些实际的事情，比如 LeCun 研发的卷积神经网络。来自于卡内基梅隆大学的 Dean Pomerleau 建造了自动驾驶汽车，并开上了路。

但是 LeCun 说，「神经网络需要复杂软件，大量数据，强大算力的计算机。不是很多人有条件或者愿意投入时间。」神经网络迎来了另一个「黑暗时刻」。

不过 Hinton 说，「当然，我们继续相信神经网络，但是有很多工程师发现其他在小数据集上的工作方式能达到相同或者更好的效果，所以他们去寻求那些途径，并且认为神经网络不过是我们的『一厢情愿』罢了。」

本届图灵奖获得者之一：Yann LeCun〡视觉中国

曙光

「但是，神经网络最终走向前了。」LeCun 说。2003 年 Hinton 在多伦多市，CIFAR（加拿大高等研究院）联系上了他。在 LeCun 以及 Bengio 的支持下，Hinton 建立了「神经计算和自适应感知」项目。这个项目只邀请一些计算机科学家、生物学家、电气工程师、神经科学家、物理学家和心理学家。Hinton 想通过这样一个项目「刺激」人工智能领域的创新，甚至改变世界。事实证明，他是正确的。

Hinton 说，「2006 年，我们在多伦多训练了多层神经网络，同在在《科学》上发表了论文。2009 年，实验室的两位学生研发了利用深度神经网络进行语音识别的技术。或许只是进步了一点点，但是现存的技术已经有 30 年停滞不前了。」

2009 年，Hinton 与当时微软人工智能首席科学家邓力相识了。邓力是符号主义人工智能的支持者。当时，邓力不完全被 Hinton 说服，但是邀请后者来到微软，对这一技术加以研发。之后，微软在语音识别取得了巨大的进步。邓力说，「Hinton 是一个天才，知道如何创造一个接一个有影响力的技术。」

2012 年底，Hinton 带着两位学生提出了深度卷积神经网络模型 AlexNet，在图片识别上取得了突破。彼时，不仅仅是微软、谷歌，整个业界开始意识到这些想法的重要性。改变的并不是神经网络概念，改变的是概念所需要的大量计算机算力和数据。正如纽约时报的记者 Cade Metz 评论，「在微软或 Google，你需要成千上万台机器协同工作，处理从文本到视频的一切，这最终使得神经网络得以成功。你需要数据来训练，你需要计算能力来执行训练。」

2015 年，三位深度学习领域「奠基者」在 Nature 共同发表一篇名为 Deep Learning（深度学习）的综述文章。人工智能从幻想变成现实的过程中，神经网络概念实现了技术重构，加速了面部识别、语音助手、仓储机器人、自动驾驶等领域发展。Google 的首席架构师 Jeff Dean 说，「深度神经网络不仅改变了计算领域，而且几乎改变了科学和人类努力的每个领域。」

不过，三位研究学者称距离真正的智能，仍然有很长的一段路。但是他们相信新的思考会迸发出来。「我们需要对这个『工具箱』有实际意义的补充，让机器运作达到真正人类理解的水平。」Begio 说。

「很难预测未来，一旦你开始预测 20 年后会发生什么，你就无可救药地错了，」Hinton 说，「但是有些事情我们可以预测，比如深度神经网络这项技术会改变一切。」

责任编辑 卧虫

参考资料：

Apple and Its Rivals Bet Their Futures on These Men’s Dreams

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; line-height: 19.0px; font: 13.0px 'Helvetica Neue'; color: #118eff}

https://www.bloomberg.com/news/features/2018-05-17/apple-and-its-rivals-bet-their-futures-on-these-men-s-dreams

Turing Award Won by 3 Pioneers in Artificial Intelligence

https://www.nytimes.com/2019/03/27/technology/turing-award-hinton-lecun-bengio.html

THE GODFATHERS OF THE AI BOOM WIN COMPUTING’S HIGHEST HONOR

https://www.wired.com/story/godfathers-ai-boom-win-computings-highest-honor

Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award

https://awards.acm.org/about/2018-turing