大数据文摘授权转载自夕小瑶的卖萌屋
作者:智商掉了一地
2018 年图灵奖获得者、AI 先驱、深度学习三巨头之一、对抗生成网络 GAN、标志性的银灰卷发和浓眉,如果还没猜到的话,当你看到这个封面,一定就会意识到自己在学习的路上,已经或间接或直接地拜读过大佬的著作了。
看到花书的封面,和前面的关键词,也许你会意识到,他就是——Yoshua Bengio。
从下面这个记录可以看出,他的著作在谷歌学术上的引用量也是一骑绝尘。
就在这两天的 NeurIPS 2022 New in ML Workshop 上,Yoshua Bengio 做了一个 Live Talk,介绍了自己从本科毕业开始,一直到现在的人生之路。
链接: https://nehzux.github.io/NewInML2022NeurIPS/assets/YoshuaBengio-NewInML-NeurIPS-28nov2022.pdf
接下来,就是Bengio在大会上亲口讲述“自己一生”的故事。
从最初本科毕业时的“广度优先搜索”,了解到 Hinton 的连接主义, 到探索人脑、初代语言模型、注意力机制等等,以及度过人工智能寒冬,再到现在探索抽象、生成流网络、Ai4Science、HLAI(人类级别智能)、意识先验、System-2、因果推断、元学习、模块化等重要且新颖的领域。Yoshua Bengio 回顾了自己的科研生涯,他说“Staying Humble”。
爱上一个研究方向
一开始,Yoshua 讲述了“他是如何爱上一个研究方向”。
神经网络与人工智能
随后,Yoshua 阐述了自己的工作中对于神经网络与 AI 的理解。从一个令人兴奋的先验知识出发,他指出,通过学习,智能(机器、人类或动物)的产生是有一些原则的,这些原则非常简单,可以被简洁地描述出来,类似于物理定律,也就是说,我们的智能不只是一堆技巧和知识的结果,而是获取知识的一般机制。
他还辨析了传统 AI 和机器学习的要点,提到了人工智能的机器学习方法:
而后 Yoshua 从维度诅咒和分布式表示(指数级优势)这两个细节出发,强调了促使 ML 向 AI 转变的五个关键因素:
他还提到了脑启发(Brain-inspired),以及如下特性:
长期依赖和梯度下降
紧接着,Yoshua 回顾了机器学习 101 课程的要点:
又引出了他们自己 1994 年的工作 "Learning Long-Term Dependencies with Gradient Descent is Difficult" ,并强调了他的经验:负面结果可能非常重要,它教会了我们一些东西,推动了许多下游研究,比如 2014 年关于自注意力机制的工作。
接下来他展开介绍了这项工作:
如何存储 1 bit?在某些维度上有多个引力盆地的动力学
在有界噪声存在的情况下稳健地存储 1 bit:
可靠地存储→消失的梯度
为什么它会损害基于梯度的学习?
深度学习:学习内部表征
深度学习并不像其他机器学习方法:
那么什么是好的表征形式呢?——使其他或下游任务更容易。
于是 Yoshua 又回顾了他们 2003 年的经典工作《A Neural Probabilistic Language Model》,这是首次用神经网络来解决语言模型的问题,也为后来深度学习在解决语言模型问题甚至很多别的 NLP 问题时,奠定了坚实的基础(比如之后 word2vec 的提出)。
为什么要设置多层(multiple layer)?——世界是可构成的
随着深度学习的不断发展,不止 NLP 领域,语音和图像也迈出了重要一步:
▲2010-2012 年:语音识别领域取得突破
▲ImageNet 在 2012 年取得突破
但其实 1996-2012 年也是神经网络的寒冬:
这需要坚持下去,但也要处理一些棘手的问题:
生成对抗网络 GAN
自 2010 年以来,Yoshua 关于生成式深度学习的论文,尤其是和 Ian Goodfellow 共同研究的生成性对抗网络(GAN),这篇经典之作更是引发了计算机视觉和图形学领域的深刻革命。
GAN 以其优越的性能,在短短两年时间里,迅速成为人工智能的一大研究热点,也将多个数据集的结果刷至新高。
Attention 机制的“革命”
对一个输入序列或图像,通过设置权重或每个输入位置的概率,正如 MLP 中所产生的那样,运用到每一个位置。Attention 在在翻译、语音、图像、视频和存储中的应用非常广泛,也具有以下的特点/优点:
强化学习
深度强化学习在 2016 年初露头角,取得巨大突破:
深度学习的生物学突破
除了在计算机领域的成就以外,深度学习也在生物学领域取得重要突破,英国《Nature》杂志在 2021 年发表了一项结构生物学最新研究,人工智能公司 DeepMind 的神经网络 Alphafold 2 ,利用注意力图神经网络,预测的蛋白质结构能达到原子水平的准确度,这也为生命科学领域带来革命性影响。
保持谦逊
学习更高层次的抽象
(Bengio & LeCun 2007)
深度学习的最大回报是允许学习更高层次的抽象。
如何发现好的解耦表征
绕过维度的诅咒
我们需要在机器学习模型中构建组合性,就像人类语言利用组合性为复杂的思想赋予表征和意义一样。
利用组合性:在指代能力上获得指数级的增长;
先验假设(Priori):组合性有助于有效地描述我们周围的世界。
深度学习目标:发现因果表征
Yoshua 之前也研究过一段时间的因果,这里他也发表了与此相关的一些看法。
我们需要了解这些问题:
当前机器学习的缺失
要超越训练分布的泛化
系统泛化
根据之前的一些工作,将这种能力总结如下:
SOTA AI 和人类水平智力之间的差距
其主要的差距有:
造成差距的唯一原因:有意识的处理?
假设:这种差距源于一种与人类意识处理相关的计算、知识表示和推理,但在人工智能中尚未掌握。
有意识的处理帮助人类处理 OOD 设置
系统 1 和系统 2 的认知——2个系统(以及认知任务的类别)
从推理到 OOD 泛化
将知识分解成可组合的片段进行推理
迁移到修正分布:超越 iid 假设
因果关系作为 OOD 泛化、迁移学习、持续学习等的框架:
为什么需要因果
Yoshua 团队今年在因果领域研究也有着一个研究成果——作为概率推理机的大型深度网络:
总结
最后,Yoshua 也表达了自己的愿景:让机器学习走出实验室,走入社会。
而这也是人工智能科学家、工程师、企业家和政府的共同的新责任。
而 AI 也是一个强大的工具,要重点关注它的:
同时,一切事物都像双刃剑,AI 也不例,我们也应当避免一些对于社会的负面影响:
点「在看」的人都变好看了哦
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有