神经网络最伟大和最新的应用是什么？

问：神经网络最伟大和最新的应用是什么？

答：神经网络最近取得了两项我认为具有开创性的成就，这两项成就都是由 DeepMind 实现的。

第一个是，人类历史上第一次有一个人工智能可以在围棋比赛中击败全国冠军，甚至可能击败世界冠军（将于 3 月份在 Youtube 上直播）。它同时使用神经网络和树搜索。在国际象棋中击败人类早已成为现实，但围棋一直被认为是人工智能的圣杯，因为它具有如此大的分支因子；可能的棋盘状态的数量超过了宇宙中原子的数量。

第二个是，具有神经网络的人工智能已被教导通过强化学习来导航 3D 环境，仅使用视觉效果，而无需访问游戏的墙壁布局。从本质上讲，它学会了如何根据所看到的内容构建/记住墙壁地图，甚至没有被教导如何操作，每次它进步到足以找到苹果时都会获得奖励。这比神经网络中其他所谓的“突破”更令人兴奋，因为这种玩游戏的智能是通用的 并且不必为每场比赛重新编程；因此，如果发展得足够好，理论上它可以成为未来通用人工智能的引擎，驱动真正智能的机器人，这些机器人实际上可以学会做有用的事情，比如叠衣服和从冰箱里拿啤酒，而无需编程如何去做。

问：神经网络有多“神经”？神经网络的神经性如何？

答：“神经网络”模型根本不是非常神经化的。

所谓的“神经网络”是一种统计机器学习算法。尽管神经网络受到大脑一般信息处理策略的启发，但没有人认为真正的神经元是这样工作的。

20世纪50年代末，“感知机”计算机算法被提出。到 20 世纪 80 年代初，这已发展成为使用反向传播算法的所谓“连接主义模型”。著名著作《并行分布式处理》的编辑麦克莱兰和鲁梅尔哈特非常小心地避免提及神经元。他们将他们的模型描述为具有“连接”的“单元”网络，并表示这是以一种非常松散的方式受到大脑工作方式的启发。他们避免使用“神经元”或“突触”一词。

不久之后，反向传播联结主义模型开始被称为“神经网络”模型。

神经科学家一直对这个名字感到畏缩，因为它会造成混乱。真正的神经元会出现峰值，它们不会产生“分级值”。此外，真实神经元中的“学习”是通过同时尖峰发生的，而不是通过后向误差传播发生的。但“神经网络”这个名字太朗朗上口了，没有什么可以阻止它。

如今，当神经科学家想要提及大脑中的神经元网络时，他们将它们称为“神经元网络”或“电路”，以避免现在永远令人困惑的术语“神经网络”。

问：为什么神经网络工作得这么好？

答：我们的物种很大程度上要归功于对生拇指。但如果进化给了我们额外的经验，事情可能不会有太大改善。每只手一个拇指就足够了。

对于执行类人任务的领先人工智能系统神经网络来说却并非如此。随着它们变得越来越大，它们掌握的东西也越来越多。这让围观者感到惊讶。基本的数学结果表明，网络只需要这么大，但现代神经网络的规模通常远远超出了预测的要求——这种情况被称为过度参数化。

对神经网络规模的标准预期来自于对神经网络如何记忆数据的分析。但要理解记忆，我们必须首先了解网络的作用。

神经网络的一项常见任务是识别图像中的对象。为了创建一个能够做到这一点的网络，研究人员首先为其提供许多图像和对象标签，训练它学习它们之间的相关性。之后，网络将正确识别它已经看到的图像中的对象。换句话说，训练使网络记住数据。更值得注意的是，一旦网络记住了足够的训练数据，它还能够以不同程度的准确度预测从未见过的物体的标签。后一个过程称为泛化。

网络的大小决定了它可以记忆的量。这可以用图形来理解。想象一下将两个数据点放置在xy平面上。您可以将这些点与由两个参数描述的线连接起来：线的斜率及其与垂直轴相交时的高度。如果其他人得到了这条线以及原始数据点之一的x坐标，他们只需查看这条线（或使用参数）就可以算出相应的y坐标。该线已经记住了两个数据点。

神经网络做类似的事情。例如，图像由数百或数千个值来描述——每个像素一个值。这组许多自由值在数学上相当于高维空间中的点的坐标。坐标的数量称为维数。

问：神经网络到底是什么？它们是如何创建的？

答：我喜欢以下定义：神经网络是具有一些参数的任何系统，并且根据某些给定输入的实际输出和期望输出之间的差异，可以推导出如何修改参数以减少差异。

这样就可以在循环中重复参数改进的过程，即训练网络。然而，导出正确的参数修改（所谓的梯度）的能力限制了可以组合系统的组件。组件的充分条件是它们代表一个我们可以用符号方式表达的导数函数，但有时我们可以使用更奇特的组件。它还取决于我们如何衡量实际输出和期望输出之间的差异 - 所谓的损失函数。所有其他功能均开放。

当然，我们主要寻找具有学习（几乎）任何东西的能力的架构，例如具有非线性激活的感知器。当前成功的网络（深度学习）主要基于（深度）自动编码器，有时与感知器相结合。