CNN卷积神经网络架构的发展（上）

阅读文本大概需要 5 分钟。

前言

在这里，我要先给所有关注我的朋友道个歉，因为我已经很久没有更新了，但关注者不减反增，可能是知乎专栏的朋友过来的不少吧。因为上个月的离职，到后面家里出了点事，基本上是三个城市来回跑的状态，所以柠檬在这里给大家说声对不起。

不管怎样，机器学习都是要一直写下去的，Python基础也会一直更新下去，我会将自己的学习和领悟都总结出来写成通俗的文章带给大家，还是那句话，希望我们可以相互促进，一起成长！

CNN卷积神经网络架构的发展

好了，那我们就开始今天的学习，今天要给大家介绍的是CNN卷积神经网络的发展，这也是我最近几天一直在研究的东西，所以稍微有点花着写了，不过没关系，以后我会慢慢的给大家介绍什么是神经网络、什么是前馈神经网络，然后再整理出比较系统的体系。

首先我把自己作出的思维导图放出来

我们可以看到，从1998年开始，到现在整整二十年，经历了七八个版本，下面柠檬就给大家一个一个的介绍。

LeNet5（开山） - 1998

第一个要介绍的就是LeNet5架构，大家也可以看到后面括号中有“开山”二字，说明这是第一个诞生的基于CNN的深度学习的网络架构。

1998年。LeCun乐春大神发布了LeNet网络架构，从而揭开了深度学习的神秘面纱。从1998年开始，深度学习这一领域就开始不断地被人们所熟知，也是因为这个网络架构，不断地推动着深度学习这一领域。

其实我们现在所熟知的CNN的三个特性：1.局部感知、2.下采样、3.权值共享，就是从LeNet5开始有的，因为图像的特征是分布在整个图像当中的，并且一个图像所含有的特征数量是非常之多的，而LeNet5可以利用卷积在相同参数的多个位置中提取相似特性，这样就有效的节省了参数和计算量，在当时没有GPU帮忙并且CPU的速度也非常慢的情况下是非常震撼的。

说个题外话，现在Google公司都在研发并且自己也已经用上了机器学习专用的芯片：TPU，它的训练速度比CPU、GPU快了30倍。连硬件如此发达的今天都还在追求更高的训练速度，我们就不难想象到LeNet5这个能有效节省时间的架构对整个机器学习届的意义有多大。

总的来说LeNet5架构把人们带入深度学习领域，值得致敬。从2010年开始近几年的神经网络架构大多数都是基于LeNet的三大特性。

AlexNet - 2012

2012年，Alex Krizhevsky发表了AlexNet，相对比LeNet它的网络层次更加深，从LeNet的5层到AlexNet的7层，更重要的是AlexNet还赢得了2012年的ImageNet竞赛的第一。AlexNet不仅比LeNet的神经网络层数更多更深，并且可以学习更复杂的图像高维特征。

其实柠檬个人认为AlexNet还是比较具有里程碑意义的，我们可以看看上面柠檬写的思维导图，众所周知，现在我们自己训练模型的时候都会用到dropout和max-pooling技术，前者是避免过拟合的一大利器，后者也是CNN里面非常重要的一个概念的重要手段：池化。再者，我们现在使用ReLU函数比Sigmoid函数的概率要大得多，至于原因柠檬翻了下自己手写的笔记，字有点丑，别介意。

也正是这些原因，导致我们现在用ReLU函数用的更频繁一些，这也说明了AlexNet架构的价值所在。最后一点，我们应该都知道强大的GPU对模型的训练来说意味着什么，意味着十多倍的节省时间。包括柠檬的导师也是买了五块GTX 1080放在实验室给我们一众弟子跑着用，哎呀，不用羡慕不用羡慕，羡慕也是羡慕不来的啦~开玩笑的，我们可以看到AlexNet最后一个特性就是可以利用英伟达的芯片来显著减少时间。

随着GPU提供越来越强悍的性能，同时允许超过10x倍数的训练增长时间，于是可以处理越来越大的图片和越来越庞大的数据集。暴风雨来临了，AlexNet的成功开始了一场小革命，卷积神经网络CNN现在是深度学习的主力，于是有人称“网络越复杂处理的任务越厉害”。

Network-in-network - 2013年尾

到了2013年尾，Min Lin发表了新的论文，提出了Network-in-network。其实Network-in-network的核心思想很简单，就是在卷积后面再跟一个1x1的卷积核对图像进行卷积。

NiN在每次卷积完之后使用，目的是为了在进入下一层的时候合并更多的特征参数。同样NiN层也是违背LeNet的设计原则（浅层网络使用大的卷积核），但却有效地合并卷积特征，减少网络参数、同样的内存可以存储更大的网络。

MLP多层感知的厉害之处就在于它把卷积特征结合起来成为一个更复杂的组合，这个思想将会在后面ResNet和Inception中用到。

好了，今天的学习就到这里，希望大家看完文章的五分钟是一天中比较有价值的五分钟，下期柠檬会把其余的经典架构给大家整理出来，咱们下节课再见。