AlexNet 赢得 ImageNet ILSVRC 2012 挑战赛

背景

图像识别就是判断一张照片里出现了什么物体。2012 年以前，最强的计算机视觉系统通常由两部分组成：先用人工设计的特征提取器把图像转换成一组数字，再交给分类器判断。研究者的大量精力都花在设计这些特征上。神经网络（neural network）早已被研究，它的优势是能从数据中自动学习特征，但当时并不是这一领域的主流做法。

为了公平比较不同方法，领域内使用统一的测试标准。ImageNet 大规模视觉识别挑战赛（ILSVRC）就是其中之一。2012 年的比赛共有 1000 个物体类别，1,431,167 张标注图像，其中约 120 万张用于训练。^[4]

发生了什么

获胜的参赛队名为 SuperVision，成员是多伦多大学的 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton（杰弗里·辛顿）。他们在分类任务中的 top-5 错误率为 15.3%。所谓 top-5 错误率，是指正确答案不在模型给出的五个最可能标签之内的测试图片所占比例。15.3% 这一成绩使用了 ImageNet 2011 年秋季版的额外训练数据；如果只用主办方提供的训练数据，他们的错误率为 16.4%。^[1]

比赛的时间安排很紧凑。测试图像于 2012 年 7 月 10 日发布，9 月 30 日截止提交，10 月 13 日公布完整结果。成果在意大利佛罗伦萨举行的 ECCV 2012 上的 PASCAL VOC 研讨会上介绍，李飞飞（Fei-Fei Li）做了开场介绍和结果概述。^[2]

同一支队伍还赢得了定位任务。这项任务要求系统既判断物体类别，又要在图中框出物体的位置，他们的错误率为 33.5%，而第二名牛津大学的 VGG 团队约为 50.0%。^[1]

关键细节

分类任务的第二名来自东京大学的 ISI 团队，错误率为 26.2%。它依赖手工设计的特征，即在 SIFT 等描述子之上计算的 Fisher 向量（Fisher Vector）。这类方法把图像的局部纹理汇总成一组数字，而这些数字的设计规则是研究者定下的，并不是从数据中学来的。^[1]

冠军网络拥有 6000 万个参数（parameter）和 65 万个神经元，包含五个卷积层（convolutional layer）和三个全连接层。卷积层用一组可学习的小型滤波器在图像上滑动扫描，因此靠前的层会响应简单的边缘，靠后的层会响应更复杂的形状。网络直接以原始 RGB 像素作为输入，在两块 NVIDIA GTX 580 图形处理器（GPU）上训练了五到六天。GPU 能同时完成大量乘法运算，这让如此庞大的网络训练变得可行。^[3]

团队的论文《ImageNet Classification with Deep Convolutional Neural Networks》收录于 NIPS 2012（即 NeurIPS）论文集。^[3]

影响

冠军与亚军之间的差距，即 15.3% 对 26.2%，说明一个在大规模标注数据上用 GPU 训练的大型神经网络，能大幅超过其他参赛者所用的基于特征的方法。^[1]

比赛给所有方法提供了相同的图像和评分规则，因此各方法的结果可以直接比较。许多研究者后来把计算机视觉中深度学习热潮的起点追溯到这一结果。深度卷积网络加上大规模标注数据，逐渐成为视觉任务的通用做法，之后也扩展到人工智能的其他领域。