Clarifai 赢得 ILSVRC 2013 分类赛

背景

ILSVRC 是围绕 ImageNet 图像数据集展开的评测竞赛。分类任务给系统一张图，让它判断这张图属于哪个类别；评分采用 top-5 错误率，即系统的五个最高分猜测里只要有一个正确就算答对，因此数字越低越好。另一项任务是目标定位（object localisation），要求系统给出物体在图像中的位置，而不只是说出它是什么。由于各参赛系统用同一批数据、同一个指标评分，成绩可以直接并排列进一张表里比较。

发生了什么

2013 年的分类任务由 Clarifai 夺冠，提交的是一个由多个卷积神经网络（convolutional neural network, CNN）组成的集成模型^[2]。GoogLeNet 论文的结果表把 Clarifai 列为该年第一名，不使用外部数据时 top-5 错误率为 11.7%，使用 ImageNet 22k 数据时为 11.2%^[1]。目标定位任务则由 OverFeat 夺冠^[2]。也就是说，两个榜首落在不同团队手里，而分类冠军并不是单个网络，而是若干网络的组合。

关键细节

榜单之外，同一时期还有一项与这个基准紧密相关的工作。Zeiler 和 Fergus 于 2013 年 11 月 12 日把《Visualizing and Understanding Convolutional Networks》提交到 arXiv，论文报告的架构在 ImageNet 分类基准上超过了 Krizhevsky 等人^[3]。他们的成绩被 GoogLeNet 论文的对比表收录：Zeiler & Fergus 用 6 个网络时 top-5 测试错误率为 14.8%，单网时为 16.1%^[1]。arXiv 的记录显示，这篇论文在 2013 年 11 月 28 日已更新到第三版，与原稿提交是同一个月^[3]。

把这两份记录放在一起看，可以看出当时研究同时在两条线上推进：一是靠更大的集成把分类错误率压下去，二是试图解释训练好的网络内部到底学到了什么。

为什么重要

2013 年的这些成绩成了后来者衡量自己的参照。GoogLeNet 的作者在介绍自己的模型时，把 Clarifai、Zeiler & Fergus 等条目放进同一张对比表，逐一列出各自的 top-5 错误率^[1]。一个成绩只有把具体数字和数据条件都写清楚，才真正能当基准用，这些表格做的正是这件事：Clarifai 的数字被记了两遍，一遍不含外部数据，一遍使用 ImageNet 22k 数据，两种设定不会被混为一谈^[1]。

这一年还留下了一处方法上的印记。分类榜首是一个集成模型而非单个模型^[2]；而在同一几周内流传的可视化论文，把自己的贡献同时定位在两件事上——理解网络内部，以及在基准上超过此前的结果^[3]。