最新的进展为深度学习网络成功的原因提供了理论见解

深度学习系统正在彻底改变我们周围的技术，从将您与手机配对的语音识别到越来越能够看到和识别前方障碍物的自动驾驶汽车。但是，当涉及到深度学习网络本身时，许多成功都涉及反复试验。一组MIT研究人员最近回顾了他们对更好地理解深度学习网络的理论贡献，为该领域的发展提供了方向。

麦戈文脑科学研究所研究员，大脑，思维与机器中心（CBMM）主任，尤金·麦克德莫特（Eugene McDermott）脑与认知科学教授，汤姆·波吉欧（Tommy Poggio）解释说：“深度学习在某种程度上是一个偶然的发现。” 。“我们仍然不明白它为什么起作用。一个理论框架正在形成，我相信我们现在已经接近一个令人满意的理论。该是退后一步并回顾最近的见解的时候了。”

攀登数据山

我们当前的时代以数据的丰富为标志-来自各种类型的廉价传感器，文本，互联网的数据，以及生命科学中生成的大量基因组数据。如今，计算机摄取这些多维数据集，从而产生了一系列问题，这些问题被已故的数学家Richard Bellman称为“维数诅咒”。

这些问题之一是，表示平滑的高维函数需要天文学上大量的参数。我们知道深度神经网络特别擅长学习如何表示或近似于此类复杂数据，但是为什么呢？了解为什么可能有可能帮助推进深度学习应用程序。

“深度学习就像是在Volta发现电池后，但在Maxwell之前，就象电一样。” Poggio解释说，他是MIT Quest for Intelligence核心组织的创始科学顾问，也是位于麻省理工学院。“在Volta之后肯定可以进行有用的应用，但这是Maxwell的电磁学理论，这种更深刻的理解为无线电，电视，雷达，晶体管，计算机和互联网开辟了道路。”

Poggio，Andrzej Banburski和Qianli Liao的理论处理指出了深度学习为何可以克服诸如“维数的诅咒”之类的数据问题的原因。他们的方法始于观察到许多自然结构是分层的。建模树木的生长和发育不需要我们指定每个树枝的位置。相反，模型可以使用本地规则来分层驱动分支。当处理复杂数据时，灵长类视觉系统似乎会执行类似的操作。当我们查看自然图像（包括树木，猫和脸）时，大脑会先后整合局部图像补丁，然后整合小补丁集合，再整合补丁集合。

该研究的作者，电气工程和计算机科学系的研究生，CBMM的成员之一千千里解释说：“物理世界是组成成分的，换句话说，是由许多本地物理交互组成的。” “这超出了图像。语言和我们的思想是组成性的，甚至就神经元之间的相互连接而言，甚至我们的神经系统也是组成性的。我们的评论从理论上解释了为什么深层网络如此擅长表示这种复杂性。”

直觉是，即使神经元的总数相同，层次神经网络也应该比单个“层”的神经元更好地逼近组成功能。他们工作的技术部分确定了“更好的近似”是什么意思，并证明了直觉是正确的。

泛化难题

关于有时被称为深度网络的不合理有效性的第二个难题。尽管我们如今产生的数据量很大，但深层网络模型的参数通常比适合它们的数据多得多。这种情况应该导致所谓的“过度拟合”，即您的当前数据很好地适合模型，但是任何新数据都非常适合模型。在传统模型中，这被称为不良概括。常规解决方案是限制拟合过程的某些方面。但是，深度网络似乎不需要此约束。Poggio和他的同事证明，在许多情况下，训练深度网络的过程隐式地“规范化”了解决方案，并提供了限制。

这项工作有许多影响。尽管深度学习在世界范围内得到了积极的应用，但到目前为止，在没有全面的基础理论的情况下发生了这种情况。深度学习的理论解释了深度网络的原因和方式，以及它们的局限性，很可能会允许开发更强大的学习方法。

Poggio解释说：“从长远来看，开发和制造更好的智能机器的能力对于任何基于技术的经济都是必不可少的。” “毕竟，即使在目前仍然非常不完善的状态下，深度学习也正在影响或即将影响我们社会和生活的各个方面。”