AlexNet论文阅读（一）

原作者：多伦多大学的AlexKrizhevsky，IlyaSutskever，GeoffreyE.Hinton

翻译/整理：最帅的本帮主

ImageNet Classification with Deep Convolutional Neural Networks

深度卷积神经网络实现ImageNet分类问题

Abstract

摘要

We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes.

我们训练了一个大型的，深度卷积神经网络来将ImageNet LSVRC-2010 比赛中的1.2百万张高分辨率图片分类成1000个不一样的类别。

On the test data, we achieved top-1 and top-5 error rates of 37.5% and 17.0% which is considerably better than the previous state-of-the-art.

在测试数据集中，我们得到了Top-1和Top-5的错误率，分别为37.5%和17.0%，这比以前最新的技术水平要好很多。

Top-1错误率：对一张图片，如果概率最大的分类是正确答案，结果才认为正确

Top-5错误率：对一张图片，只要概率前5的分类中包含正确答案，即认为正确

The neural network, which has 60 million parameters and 650,000 neurons, consists of five convolutional layers, some of which are followed by max-pooling layers, and three fully-connected layers with a final 1000-way softmax.

这个神经网络拥有6千万个参数和65个神经元，它的组成有五个卷积层，一些卷积层跟随在最大池化层后面，以及三个全连接层并且最后一层的激活函数是以1000个分类为输出的softmax函数。

To make training faster, we used non-saturating neurons and a very efficient GPU implementation of the convolution operation.

为了加快训练过程，我们采用了非饱和的神经元以及一个用来执行卷积操作的非常高效的GPU。

To reduce overfitting in the fully-connected layers we employed a recently-developed regularization method called “dropout” that proved to be very effective.

为了减少在全连接层中过拟合现象的发生，我们采用了一个最近开发的叫做“dropout”的正则化方法，事实证明这是非常有效的。

过拟合现象：训练集和验证集的正确率很高，但在测试数据集中准确率大大降低

We also entered a variant of this model in the ILSVRC-2012 competition and achieved a winning top-5 test error rate of 15.3%, compared to 26.2% achieved by the second-best entry.

我们也在 ILSVRC-2012比赛中输入了一个该模型的变体，并且以Top-5错误率为15.3%的成绩赢得了胜利，对比起第二名的模型输入得到的26.2%的成绩。