ImageNet Classification with Deep Convolutional Neural Networks（用深度卷积神经网络做 ImageNet 分类）

要解决什么问题

任务是把ImageNet ILSVRC-2010竞赛中的120万张高分辨率训练图像分到1,000个类别中。数据集既大又多样，需要一个容量很大的模型；但网络规模一大，就容易过拟合，也就是只记住训练样本，而没有学到能推广到新图像的规律。^[1]

怎么做的

卷积层用一组可学习的小滤波器在图像上滑动，使同一种图案无论出现在画面哪个位置都能被检测到。这个被称为AlexNet的网络共有8个带可学习参数的层：5个卷积层（其中部分后接最大池化），以及3个全连接层。最后一层是1,000路的softmax，把输出转换为对各类别的概率。网络有6000万个参数，65万个神经元。^[1]

作者做了几项选择，使训练变得可行。他们使用ReLU（修正线性单元）作为激活函数，并证明其训练速度比等价的tanh单元快数倍。他们编写了高度优化的GPU卷积实现，并把网络拆分到两块GPU上。在两块各带3 GB显存的NVIDIA GTX 580 GPU上，训练耗时五到六天。^[1]

为了抑制过拟合，作者通过数据增强扩充训练集，包括随机裁剪224×224的图像块和水平翻转，使训练数据扩大为原来的2,048倍。他们还使用了dropout：在前两个全连接层中，每个隐藏神经元的输出以0.5的概率被置零。这样一来，网络就不容易过度依赖某一个神经元。^[1]

结果

Top-1错误率只在模型的最佳猜测与标签一致时才算正确；Top-5错误率则宽松得多，只要标签出现在模型的前五个猜测中即可。

在ILSVRC-2010的测试数据上，该网络取得了37.5%的top-1错误率和17.0%的top-5错误率。作者称，这一结果明显优于此前的最佳水平。^[1] 参加ILSVRC-2012竞赛的一个变体，取得了15.3%的top-5测试错误率并夺冠，而第二名的参赛作品为26.2%。^[1]

为什么重要

作者发现网络深度很关键：去掉任何一个卷积层都会使结果变差，而每个卷积层所含参数都不超过总数的1%。^[1] 这一结果表明，在大规模标注数据集上训练的深度卷积网络，可以远超早期方法；同时，它也为基于GPU的训练能做到什么程度，提供了一个清晰的范例。

后续影响

此后几年，这类卷积网络成为图像识别的主流方法。这篇论文常被视为这一转变的起点之一，尽管其中所用的思路，包括卷积网络和反向传播，都有更早的来源。^[1]