AlexNet

是什么

AlexNet 是论文《ImageNet Classification with Deep Convolutional Neural Networks》中描述的深度卷积神经网络（convolutional neural network），作者是多伦多大学的 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey E. Hinton，论文发表在 2012 年的 NIPS（现 NeurIPS）会议论文集上^[1]。它的任务是看一张照片，判断它属于一千个物体类别中的哪一类，而这个对应关系是网络自己从带标签的样本里学出来的。

网络共有 8 个带参数的层：5 个卷积层，其中一些后面接最大池化（max-pooling），以及 3 个全连接层，最后一层是 1000 路 softmax^[1]。整个网络有 6000 万个参数和 65 万个神经元^[1]。卷积层用小滤波器在图像上滑动，对局部图案作出反应；把这样的层叠起来，靠后的层就能把简单图案组合成更大的结构。最后的 softmax 把末层的打分变成一千个类别各自的概率。

怎么变得可训练

有两个选择让这种规模的网络跑得起来。一是使用 ReLU 单元，作者证明它的训练速度比同等的 tanh 单元快好几倍^[1]。二是卷积的 GPU 实现：训练在 2 块 NVIDIA GTX 580 3 GB 显卡上花了 5 到 6 天，网络被拆开分别放在两块显卡上^[1]。

拥有 6000 万个参数的网络很容易把训练集背下来，而不是学到可迁移的规律。为了抑制过拟合，作者用了数据增强，把训练图像的随机 224×224 裁剪和水平翻转喂给网络；并在前两个全连接层里使用概率为 0.5 的 dropout^[1]。dropout 在训练时随机让一部分单元失效，网络就无法依赖任何单一路径。

结果

在 ILSVRC-2010 的测试数据上，它取得 37.5% 的 top-1 错误率和 17.0% 的 top-5 错误率，明显好于此前的最高水平^[1]。top-5 错误率的含义是：只要正确类别不在模型打分最高的五个猜测里，这次预测就算错。

以「SuperVision」队名参加 ILSVRC2012 时，它以 15.3% 的 top-5 错误率赢下分类任务；排在第二的是东京大学的「ISI」队，使用基于手工设计特征的方法，成绩为 26.2%^[2]。SuperVision 还赢下了 ILSVRC2012 的定位任务——即判断被指名的物体位于图像中的什么位置——错误率为 33.5%，而排在第二的牛津大学 VGG 组约为 50.0%^[2]。

作者还查了到底是什么在起作用。他们发现深度是有意义的：去掉任何一个卷积层，结果都会变差^[1]。

为什么重要

竞赛组织者在回顾中写道，15.3% 对 26.2% 的差距说明，用 GPU 在大型标注数据集上训练的大神经网络，可以远远超过其他参赛作品所用手工特征的方法^[3]。其他参赛者大多先手工构造图像特征的描述子，再交给分类器；AlexNet 则直接从数据里学出自己的特征，而两条路线之间的差距大到很难被解释成调参问题。

产生这个结果的组合——大型标注数据集、深度卷积网络、ReLU 单元、dropout 和 GPU 训练——成了此后图像识别工作的起点样式，人们通常把这条研究线索从 AlexNet 算起。