读书笔记之卷积神经网络之父杨立昆的《科学之路》

《科学之路——人、机器与未来》（原作名: Quand la machine apprend）是法国人杨立昆（Yann LeCun）的自传体科普作品，详细记录了他在人工智能领域的研究历程和对未来发展的深刻见解。

杨立昆是法国人，名字原文为Yann Le Cun，姓氏为Le Cun，因在美国常被误缩写为Y.L.Cun，于是把LeCun合写在一起。中文译名原为扬•勒丘恩，华人AI圈一直亲切地称他为“杨乐康”，他本人听闻后，干脆自己给自己取了中文名字——杨立昆。他被誉为 “卷积神经网络之父”，2019年3月，因在人工智能深度学习方面的贡献获得2018年度图灵奖。此外，他还获得了2014年IEEE神经网络先锋奖（Neural Network Pioneer Award）、2015 年 IEEE PAMI 杰出研究奖和2016 年 Lovie 终身成就奖。他为卷积神经网络（CNN，Convolutional Neural Networks）和图像识别领域做出了重要贡献，以手写字体识别、图像压缩和人工智能硬件等主题发表过190多份论文，研发了很多关于深度学习的项目，并且拥有14项相关的美国专利。研究领域包括人工智能、机器学习、机器感知、移动机器人学和计算神经学。

第一章：人工智能呼啸而来

本章介绍了人工智能（AI）的广泛应用和快速发展，强调了AI技术的无处不在和其对社会各领域的深远影响。杨立昆指出，AI的发展不仅仅是一次技术演变，而是一场革命。

杨立昆认为人工智能正在逐步占领经济、通信、健康和自动驾驶汽车等领域，其发展速度和应用范围预示着一场技术革命的到来。

第二章：人工智能和我的学术生涯

杨立昆回顾了自己的学术生涯，从对人工智能的早期兴趣到在贝尔实验室的工作，再到他在深度学习领域的开创性贡献。他强调了科学研究的自由探索精神和跨学科合作的重要性。

以逻辑的方式无法建构真正的智能机器，我们必须赋予机器学习的能力，让它们能以经验为基础进行自我建构。

发明无法一蹴而就，它们是经历反复实验、失败、进入低谷和讨论的结果，通常要走很长的路才能实现。人工智能的前沿阵地也是如此，在接连不断的新发现的推动下步步向前。20世纪80年代，梯度反向传播的普及使得训练多层神经网络成为可能。该网络由成千上万分层的神经元组成，其间的连接更是数不胜数。每层神经元都会合并、处理和转换前一层的信息，并将结果传递到下一层，直到在最后一层产生响应为止。这种层次体系结构赋予了多层网络能够存储惊人的潜能。

2004—2006年，我们写的关于深度学习主题的文章几乎都被机器学习领域的重要会议否决了，这些会议包括NeurIPS、ICML等。当时研究机器学习的主要方法是核方法、提升方法和贝叶斯概率法，神经网络几乎已经从可选项中消失了。像CVPR和ICCV这样的应用领域大会也对神经网络的相关工作保持缄默。即便我们信念坚定，也会有某个动摇的时刻。我记得在1987年12月6日，在多伦多，杰弗里·辛顿来到实验室的时候神情沮丧。他沉默阴郁，简直与先前判若两人。辛顿像所有有自尊心的英国人一样，很有幽默感，但那天，他讲的笑话都很苦涩。办公室里的同事都不知道发生了什么事。最终，辛顿向大家坦陈了他的困扰：“今天是我40岁生日，我的职业生涯也到头了，什么也做不成了。”在他的认知里，40岁是一个里程碑，过了这个岁数，人的头脑就不再如以往清醒了。他觉得自己再也不会有关于大脑工作原理方面的发现了。可事实上，我们在20年后又有了新的想法。

作者认为，科学研究需要自由的信息交流和跨学科的合作，这些因素是推动科学进步的关键。

第三章：机器的初级训练

本章探讨了机器学习的基本原理和方法，包括监督学习、随机近似和特征提取器的概念。杨立昆解释了如何通过训练数据集来训练机器识别图像和声音。

通过改变突触效应来适应或学习的机制几乎存在于所有具有神经系统的动物体内。比如，大脑本质上是一个由突触相互连接组成的神经元网络，其中大多数连接可以通过学习进行修改。这种规律适用于整条生物链，简单的秀丽隐杆线虫（一种只有1毫米长的带有302个神经元的小蠕虫），具有18000个神经元的海兔，具有25万个神经元、1000万个突触的果蝇，具有7100万个神经元和10亿个突触的小鼠，具有8亿个神经元的兔子和章鱼，具有22亿个神经元的狗和猪，具有320亿个神经元的猩猩和大猩猩，以及人类：人类拥有860亿个神经元和约150万亿个突触。从这些数据中可以看出一个有关智能的巨大奥秘：通过修改由非常简单的单元构成的网络中的连接，就能产生智能行为。

在20世纪90年代，核方法使神经网络黯然失色，多层网络的使用渐渐在人们脑海中消失了。

但是，添加一层或多层人工神经元可以计算那些单层神经元无法有效计算的更为复杂的函数。数学定理表明，仅需两层神经元就可以进行任何计算，这也是SVM能够成功的原因之一。只不过这种情况需要庞大的中间层。

杨立昆强调了训练数据集的重要性和机器学习方法的有效性，指出这些方法是实现机器智能的基础。

第四章：机器学习的方法

本章深入讨论了机器学习的各种方法，包括成本函数、梯度下降和模型选择等。杨立昆解释了如何通过优化算法来提高机器学习的性能。

首先， 使用先验知识做出预测是必要的。其次，一定存在几个可以解释数据的基础模型。好模型与差模型之间的差距并不在于解释所观察事物的能力，而在于预测的能力。

让我们想象一下：这是一种思维方式，一个无穷次幂的多项式，具有强大的学习能力，学习误差始终为0，无论给出多少数据点，多项式都能轻而易举地经过所有点。但是相对应地，它将永远无法泛化，只能通过死记硬背的方式学习所有东西，就像一个不聪明的学生死读书一样。老师不断地教他乘法表，而他没有学会乘法原理，只是记住了所有结果。

一个能够学习一切的学习机实际上什么也学不了。因为它需要无穷尽的学习示例才能停止经过所有的点，而后开始寻找其中的规律，即开始泛化。这样的情形在现实中也经常上演：比起一个记忆力超群的人，一个普通人更能够发现某些基本规则。

我们在用数据集训练机器时，需要在以下条件中找到平衡：

1.该模型必须足够强大：有足够多的按钮（参数）来调整，以便可以学习整个训练集，即尽量接近所有数据点。

2.但是这个模型也不能太过强大，以免“聪明反被聪明误”。也就是说，如果想要经过多次“波动”来精确地穿过所有点，这个模型反而无法正确地进行插值。

作者认为，理解和应用机器学习方法是实现高效学习系统的关键，这些方法可以帮助机器更好地适应和学习新任务。

第五章：完成更复杂的任务

杨立昆探讨了如何通过多层网络结构来完成更复杂的任务，强调了多层网络在处理复杂数据模式方面的优势。

许多定理表明，由“线性、非线性、线性”堆栈组成的网络是一个“通用逼近器”：如果中间层具有足够多的单元，它就能无限地逼近我们预期的函数。为了获得一个复杂函数的准确近似值，这种类型的网络可能需要大量的中间单元……然而一般来讲，要表示一个复杂的函数，更有效的方法是使用多层网络。

作者认为，多层网络结构是实现复杂任务处理的有效途径，这种结构可以更好地模拟和理解数据的复杂性。

第六章：人工智能的支柱

本章介绍了卷积网络的概念和应用，杨立昆解释了卷积网络如何模拟视觉系统的信息处理过程，并成为人工智能的重要支柱。

杨立昆认为卷积网络是人工智能发展的重要里程碑，其在图像识别和处理方面的应用展示了深度学习的强大能力。

第七章：深度学习的应用

杨立昆讨论了深度学习在各个领域的应用，包括图像辨识、语音识别和自然语言处理等，强调了深度学习技术的广泛适用性和潜力。

作者认为深度学习技术的广泛应用将推动人工智能的进一步发展，这些技术将在未来发挥更大的作用。

第八章：我在脸书的岁月

杨立昆回顾了自己在脸书的工作经历，介绍了脸书人工智能研究实验室的成立和发展，以及他在推动人工智能技术应用方面的工作。

作者强调了工业界和学术界合作的重要性，认为这种合作可以加速人工智能技术的发展和应用。

第九章：前景与挑战

本章探讨了人工智能发展的前景和面临的挑战，包括技术局限性、社会影响和伦理问题等。杨立昆呼吁对人工智能的未来发展进行深思熟虑。

人工神经元受到脑神经元的直接启发，就像飞机的机翼受到鸟翅膀的启发一样，而卷积网络则重现了视觉皮层架构的某些方面。但是，很明显，人工智能研究的未来不能仅仅复制大自然。我们必须探究智能和学习的基础原理，不管这些原理是以生物学的形式还是以电子的形式存在。正如空气动力学解释了飞机、鸟类、蝙蝠和昆虫的飞行原理，热力学解释了热机和生化过程中的能量转换一样，智能理论也必须考虑到各种形式的智能。

作者认为，尽管人工智能技术取得了巨大进步，但仍面临许多挑战和问题，需要社会各界共同努力来解决。

第十章：隐忧与未来

杨立昆讨论了人工智能可能带来的社会和经济变革，以及这些变革对人类的影响。他强调了对人工智能发展的监管和伦理考量的重要性。

我不确定人工智能革命是否会让所有人受益。与那些从事可能被（部分或全部）系统化和自动化工作的人相比，深耕于有资质的、创新型的、专注于人际关系或人力资源职位的人更有可能保住工作。如果我们的政府不通过财政措施纠正存在的问题，那么人工智能带来的收益将无法平均分配，贫富差距会进一步扩大。

有一件事是可以确定的：人工智能及其应用无法参与竞争的东西会变得更有价值，这就是已经得到证明的人类经验。自动化大幅度降低了制成品的价格，随着人工智能在工业界的渗透，这种趋势将会继续，甚至加剧，但是服务业、手工业和房地产业不会以相同的方式受到影响。

作者认为，人工智能的发展将深刻影响社会和经济结构，需要谨慎对待其潜在的影响和挑战。