深度学习的发展历史一览

深度学习是近十年来人工智能领域取得的重要突破。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大成功。现有的深度学习模型属于神经网络。神经网络的起源可追溯到20世纪40年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理解决各种机器学习问题。1986年，鲁梅尔哈特（Rumelhart）、欣顿（Hinton）和威廉姆斯（Williams）在《自然》杂志发表了著名的反向传播算法用于训练神经网络，该算法直到今天仍被广泛应用。

神经网络有大量参数，经常发生过拟合问题，虽然其识别结果在训练集上准确率很高，但在测试集上效果却很差。这是因为当时的训练数据集规模都较小，加之计算资源有限，即便是训练一个较小的网络也需要很长的时间。与其他模型相比，神经网络并未在识别准确率上体现出明显的优势。

因此更多的学者开始采用支持向量机、Boosting、最近邻等分类器。这些分类器可以用具有一个或两个隐含层的神经网络模拟，因此被称为浅层机器学习模型。在这种模型中，往往是针对不同的任务设计不同的系统，并采用不同的手工设计的特征。例物体识别采用尺度不变特征转换（Scale Invariant Feature Transform，SIFT），人脸识别采用局部二值模式（Local Binary Patterns， LBP），行人检测采用方向梯度直方图（Histogram of Oriented Gradient，HOG）特征。

2006年，欣顿提出了深度学习。之后深度学习在诸多领域取得了巨大成功，受到广泛关注。神经网络能够重新焕发青春的原因有几个方面：首先，大规模训练数据的出现在很大程度上缓解了训练过拟合的问题。例如，ImageNet训练集拥有上百万个有标注的图像。其次，计算机硬件的飞速发展为其提供了强大的计算能力，一个GPU芯片可以集成上千个核。这使得训练大规模神经网络成为可能。第三，神经网络的模型设计和训练方法都取得了长足的进步。例如，为了改进神经网络的训练，学者提出了非监督和逐层的预训练，使得在利用反向传播算法对网络进行全局优化之前，网络参数能达到一个好的起始点，从而在训练完成时能达到一个较好的局部极小点。

深度学习在计算机视觉领域最具影响力的突破发生在2012年，欣顿的研究小组采用深度学习赢得了ImageNet图像分类比赛的冠军。排名第2到第4位的小组采用的都是传统的计算机视觉方法、手工设计的特征，他们之间准确率的差别不超过1%。欣顿研究小组的准确率超出第二名10%以上，这个结果在计算机视觉领域产生了极大的震动，引发了深度学习的热潮。

计算机视觉领域另一个重要的挑战是人脸识别。有研究表明，如果只把不包括头发在内的人脸的中心区域给人看，人眼在户外脸部检测数据库（Labeled Faces in the Wild，LFW）上的识别率是97.53%。如果把整张图像，包括背景和头发给人看，人眼的识别率是99.15%。经典的人脸识别算法Eigenface在LFW测试集上只有60%的识别率。在非深度学习算法中，最高的识别率是96.33%。目前深度学习可以达到99.47%的识别率。

在欣顿的科研小组赢得ImageNet比赛冠军之后的6个月，谷歌和百度都发布了新的基于图像内容的搜索引擎。他们采用深度学习模型，应用在各自的数据上，发现图像搜索准确率得到了大幅度提高。百度在2012年成立了深度学习研究院，2014年5月又在美国硅谷成立了新的深度学习实验室，聘请斯坦福大学著名教授吴恩达担任首席科学家。脸谱于2013年12月在纽约成立了新的人工智能实验室，聘请深度学习领域的著名学者、卷积网络的发明人雅恩·乐昆（Yann LeCun）作为首席科学家。2014年月，谷歌抛出四亿美金收购了深度学习的创业公司DeepMind。鉴于深度学习在学术界和工业界的巨大影响力，2013年，《麻省理工科技评论》（MIT Technology Review）将其列为世界十大技术突破之首。