神经网络的进化史

神经网络的发展过程如下图所示，本图参考了中国科学院计算机技术研究所刘昕博士整理的卷积神经网络（CNN）结构演化的历史。

卷积神经网络发展的起点是神经认知机（Necognitron）模型。第一个卷积神经网络模型名为LeNet，于1989年诞生，其发明人是LeCun。

随后卷积神经网络的锋芒逐渐被SVM等手工设计的特征分类器盖住。随着Relu和Dropout的提出，以及GPU和大数据带来的历史机遇，卷积神经网络在2012年迎来了历史性突破-AlexNet。

AlexNet之后，神经网络有四个方向的发展：一是网络加深，二是增强卷积层的功能，三是从分类任务到检测任务，四是增加新的功能模块。

名词解释：

LeNet网络是卷积神经网络的开端，卷积神经网络入门，都需要了解LeNet网络。下图是广为流传的LeNet网络结构，麻雀虽小，五脏俱全，卷积层、pooling层、全连接层，这些都是现代网络的开端。

AlexNet，2012年Imagenet比赛冠军的model（以第一作者Alex命名）。这个网络的意义重大，首先它证明了CNN在复杂模型下的有效性，然后可以利用GPU在可接受时间范围内得到训练结果，确确实实让CNN和GPU都大大的活了一把，顺便推动了有监督DL的发展。

VGGNet由牛津大学的视觉几何组（Visual Geometry Group）提出，是ILSVRC-2014中定位任务第一名和分类任务第二名。其突出贡献在于使用很小的卷积（3*3），增加网络深度可以有效提升模型的效果，而且VGGNet对其他数据集具有很好的泛化能力。

GoogLeNet 主要的创新在于他的Inception，这是一种网中网（Network In Network）的结构，即原来的结点也是一个网络。Inception一直在不断发展，目前已经V2、V3、V4了。

GoogLeNet网络结构

Inception结构

ResNet秉承的理念是没有最深，只有更深。听说目前层数已经突破一千。

R-CNN可以看作是RPN（Region Proposal Networks）和CNN结合的力作，在ImageNet、VOC、MSCOCO数据集上都曾取得很好的效果。但它的主要缺点是重复计算，因为最后建议的区域有几千个，多数都是互相重叠的，重叠的部分会被多次重复提取特征。

R-CNN流程

Fast R-CNN是R-CNN的加速版本，不像RCNN把每个候选区域给深度网络提特征，而是整张图提一次特征，再把候选框映射到conv5上，而SPP只需要计算一次特征，剩下的只需要在conv5层上操作就可以了，这样做大大提高了速度。但是Fast R-CNN的速度读瓶颈在RPN上。此外，Fast R-CNN支持多类物体的同时检测，其行人与车辆检测技术就是汽车高级辅助驾驶系统的关键技术之一。

Faster R-CNN将RPN也交给CNN来做，Fast R-CNN的问题是选择性搜索，需要找出所有的候选框，这个也非常耗时。Faster R-CNN加入一个提取边缘的神经网络，也就是说把候选框的工作也交给神经网络来做。Faster R-CNN的速度更快，可以达到实时。

增加新的功能模块这个演化方向主要涉及FCN（反卷积）、STNet、CNN与RNN/LSTM的混合架构。

参考资料：TensorFlow技术解析与实战-李嘉璇、深度学习基础与实战-刘昕、https://www.cnblogs.com/skyfsm/p/6806246.html