首届 ImageNet 大规模视觉识别挑战赛（ILSVRC）启动

背景

要比较不同的识别算法，需要有共同的任务和共同的图像集合来跑。2010 年之前，这一领域常用的评测基准之一是 PASCAL VOC，它专注于 20 个物体类别的分类与检测^[1]。与此同时，ImageNet 正在被构建为一个规模大得多的图像集合。组织者提出的问题是：当类别数量和数据规模都大幅增长时，识别算法还能做到什么程度。

公告

2010 年 4 月 13 日，李飞飞（Fei-Fei Li）在 ImageNet 社区的一封公告信中发布了「ImageNet 大规模视觉识别挑战赛 2010」（ImageNet Large Scale Visual Recognition Challenge，ILSVRC）^[1]。公告写明，比赛的目标是更好地理解算法在大规模、层级化识别（hierarchical recognition）上的表现，着眼点是图像搜索与自动标注（auto-annotation）^[1]。这两类应用都依赖于识别能在大量类别上工作，而不只是在少数几个类别上：一个是按画面内容检索照片，一个是无需人工逐一打标签就能为图像附上标注。

首届比赛只设一个任务：对来自 1000 个物体类别的图像做图像分类（image categorization）^[1]。与 PASCAL VOC 的 20 个类别相比，难度上了一个大台阶；公告把这一定位描述为对 PASCAL VOC 的补充，而不是替代^[1]。

首届的赛制安排

公告说明了数据的来源与划分：训练集和验证集来自 ImageNet 加上一个新收集的数据集，测试集只来自新收集的这一份^[1]。组织方同时公开了一个带预计算描述子（precomputed descriptors）的基线算法，让参赛者有一个可以对照的参照点^[1]。比赛结果在 ECCV 2010 的 PASCAL VOC 研讨会上公布^[1]。

这封公告没有停留在 ImageNet 社区内部：同一份公告于 2010 年 5 月在卡内基梅隆大学（Carnegie Mellon University）的 Connectionists 邮件列表上转发^[2]。

八届赛事

据中国计算机学会的记述，ILSVRC 于 2010 年首次举办，2017 年结束，共办八届^[3]。也就是说，2010 年 4 月公告里的这套「单一任务、1000 个类别」的设置，是一系列赛事的起点，而不是一次性的比赛。

一个公开挑战赛为什么重要

评测基准是一种公共设施。把任务、数据划分和基线算法固定下来，所有参赛者用的就是同一把尺子：一个实验室报出的数字可以和另一个实验室的数字直接比较，新方法也可以拿去和一个简单方法对照。首届的设计体现的正是这个思路：训练和验证图像来自若干来源的混合，测试图像则只来自新收集的那一份，同时随数据公开一个带预计算描述子的基线^[1]。参赛者因此能看出自己的方法相对于一个朴素参照究竟有没有带来额外的东西。

任务的选择也遵循同样的逻辑。1000 个类别的分类并不是 20 类问题简单放大就能得到的：类别越多，物体之间被混淆的机会就越多，而公告正是明确以 PASCAL VOC 的 20 个类别为参照来说明这一增长的^[1]。公告给出的动机——图像搜索与自动标注——则让实用目标始终在视野之内^[1]。

这封公告启动的是一种反复进行的公开比较：一年一度、公开发布、并被转发到自己社区之外的赛事，各团队在同一个任务、同一个测试集上提交结果。某一年的方法究竟是好是坏，交给数字去说；挑战赛要做的事情，是让这些数字可以被放在一起比较。