读书笔记之《深度学习-智能时代的核心驱动力量》

《深度学习》这本书由[美]特伦斯·谢诺夫斯基（Terrence Sejnowski）撰写，详细探讨了深度学习的起源、发展及其对社会的影响。全书分为三个部分，共18章，涵盖了从智能重新构想到技术与科学影响的广泛主题。

特伦斯·谢诺夫斯基 Terrence (Terry) Sejnowski：世界十大AI科学家之一，美国四大国家学院（国家科学院、国家医学院、国家工程院、国家艺术与科学学院）在世仅3位的“四院院士”之一，全球AI专业会议NIPS基金会主席。作为神经网络的先驱，早在1986年，特伦斯就与杰弗里·辛顿共同发明了玻尔兹曼机，把神经网络带入到研究与应用的热潮，将深度学习从边缘课题变成了互联网科技公司仰赖的核心技术，实现了人工智能井喷式的发展。

特伦斯现任美国索尔克生物研究所(美国生命科学领域成果最多的研究机构) 计算神经生物学实验室主任，是美国政府注资50亿美元“脑计划”项目（BRAIN，the Brain Research through Advancing Innovative Neurotechnologies）领军人物。特伦斯同时是全球最大在线学习平台Coursera最受欢迎课程《学习如何学习》（Learning how to learn）主理人，通过系统讲解大脑认知的底层知识，让学习者可以改变思维模式，提高学习的能力和效率。目前该课程学习人数已经超过了300万。

第一部分：智能重新构想

第一章：机器学习的崛起

作者讨论了机器学习如何从逻辑和计算机程序的主导地位转变为从数据中直接学习。深度学习网络通过数据学习，类似于婴儿从周围世界中学习。

第二章：人工智能的重生

本章回顾了人工智能的历史，指出早期AI研究者低估了问题的难度，依赖于误导性的智能直觉。作者强调了深度学习在解决AI问题中的关键作用。

第三章：神经网络的黎明

作者介绍了神经网络的早期发展，特别是Frank Rosenblatt的感知器模型，以及David Hubel和Torsten Wiesel关于视觉皮层的研究。

唯一证明人工智能中的难题可以解决的证据是：通过进化，自然界已经解决了这些问题。在20世纪50年代，已经有线索表明计算机如何真正实现智能行为，如果人工智能研究人员采取一种与符号处理根本不同的方法。

第一个线索是，我们的大脑是强大的模式识别器。我们的视觉系统可以在十分之一秒内识别出混乱场景中的一个物体，即使我们以前从未见过那个特定的物体，即使物体在任何位置、任何大小和任何方向上对我们来说都是如此。简而言之，我们的视觉系统表现得像一台计算机，它有“识别物体”作为单一指令。

第二个线索是，我们的大脑可以通过练习学习执行许多困难的任务，从弹钢琴到精通物理。自然界使用通用学习来解决专门问题，而人类是学习冠军。这是我们特有的能力。我们的大脑皮层的组织在整个过程中是相似的，深度学习网络存在于我们所有的感官和运动系统中。

第三个线索是，我们的大脑里没有填满逻辑或规则。是的，我们可以学习如何逻辑思考或遵循规则，但这需要大量的训练，而且我们大多数人并不擅长于此。

第四章：大脑风格的计算

本章探讨了大脑如何启发计算模型，特别是深度学习网络的架构与视觉皮层的层次结构相似。

第五章：视觉系统的洞察

作者分析了视觉系统的复杂性，以及如何通过深度学习网络来模拟视觉识别过程。

第二部分：多种学习方式

第六章：鸡尾酒会问题

本章讨论了如何在嘈杂环境中分离声音信号，引入了独立成分分析（ICA）的概念。

第七章：Hopfield网络和玻尔兹曼机

作者介绍了Hopfield网络和玻尔兹曼机，这些模型展示了神经网络在学习和记忆方面的潜力。

第八章：误差反向传播

本章详细介绍了反向传播算法，这是训练多层神经网络的关键技术。

第九章：卷积学习

作者讨论了卷积神经网络（CNNs）的发展，这些网络在图像识别方面取得了巨大成功。

第十章：奖励学习

本章探讨了奖励学习在神经网络中的应用，特别是在强化学习中的作用。

第十一章：神经信息处理系统

作者回顾了神经信息处理系统（NIPS）会议的历史和影响，强调了跨学科合作的重要性。

第三部分：技术和科学影响

第十二章：机器学习的未来

作者展望了机器学习的未来，强调了大数据和计算能力的持续增长。

第十三章：算法时代

本章讨论了算法在现代技术中的核心作用，以及它们如何塑造我们的世界。

经济学家W. Brian Arthur指出，在过去，技术是由物理定律驱动的：在二十世纪，我们试图通过微分方程和连续变量的数学来理解物理世界，这些变量在时间和空间上平滑变化。相比之下，如今的技术是由算法驱动的：在二十一世纪，我们试图通过离散数学和算法来理解计算机科学和生物学中的复杂性本质。

第十四章：你好，先生芯片

作者探讨了专门为深度学习设计的新型计算机芯片的发展。

深度学习计算强度极高，目前是在集中式服务器上完成的，结果传输到像手机这样的边缘设备。最终，边缘设备应该是自主的，这将需要截然不同的硬件——比云计算更轻、功耗更低的硬件。但幸运的是，这样的硬件已经存在——神经形态芯片，其设计灵感来自于大脑。

第十五章：内部信息

本章分析了信息理论在神经网络和大脑功能中的应用。

数字计算机的架构与神经网络不同。在数字计算机中，内存和中央处理单元（CPU）在空间上是分开的，内存中的数据必须按顺序移动到CPU。在神经网络中，处理在内存中并行进行，这消除了内存和处理之间的数字瓶颈，并且由于网络中的所有单元同时工作，允许大规模并行处理。在神经网络中，软件和硬件之间也没有区别。学习是通过改变硬件来实现的。

第十六章：意识

作者讨论了意识的神经基础，以及如何通过神经网络来理解意识。

第十七章：自然比我们更聪明

本章强调了自然界的复杂性和智能，指出我们的直觉和理论常常低估了自然界的复杂性。

第十八章：深度智能

作者总结了深度学习如何推动我们对智能的理解，并展望了未来的可能性。