2011 届 ILSVRC 首次加入单目标定位赛项

背景

ImageNet 大规模视觉识别挑战赛（ImageNet Large Scale Visual Recognition Challenge，ILSVRC）是面向大规模物体识别的基准竞赛。到 2011 届，分类赛项出现了一个有延续性的结果：夺冠的是 2010 年的亚军队伍 XRCE。^[1] 这说明挑战赛头部队伍并没有完全换血，前一年接近冠军的团队在次年返回并拿下第一。

2011 年的分类赛项

XRCE 的获胜系统把高维图像签名（image signature）与产品量化（product quantization）压缩、一对多线性支持向量机（one-vs-all linear SVM）结合起来。^[1] 图像签名是概括图像外观的向量；维度很高时，存储和比较都会变得昂贵。产品量化把向量切成若干子向量，再分别用紧凑编码表示，从而降低内存和计算开销。一对多线性支持向量机则为每个类别训练一个线性分类器，判断图像是否属于该类。这套组合是深度学习之前典型的流程：较强的图像表示、压缩，以及能处理多类问题的线性分类器。

首次设立的单目标定位赛项

2011 届还首次举办了单目标定位（single-object localization）赛项，只有两支队伍参加。^[1] 定位任务不仅要求判断图像里有什么物体，还要求指出物体在哪里，因此系统需要生成候选区域并对其作出判断。UvA 队伍用选择性搜索（selective search）生成与类别无关的物体候选区域，赢下了这次定位赛。^[1] 选择性搜索不依赖固定的类别列表，而是利用图像中的低层线索把可能包含物体的区域合并出来，再交给后续分类器。由于候选区域与类别无关，同一批区域可以供多个物体类别共享。

UvA 的定位流程

UvA 在候选区域之后，采用密集采样（dense sampling）并对多种颜色 SIFT（color SIFT）特征做向量量化（vector quantization），再使用空间金字塔匹配（spatial pyramid matching）和在块图形处理器（GPU）上训练的直方图交集核（histogram intersection kernel）支持向量机。^[1] 密集采样在规则网格上提取局部描述子，而不是只在稀疏兴趣点取样；向量量化把大量局部描述子映射成较少的视觉词，使表示更易处理。颜色 SIFT 同时描述局部梯度和颜色信息。空间金字塔匹配在不同尺度的空间网格上汇总特征，保留粗略的位置布局。直方图交集核支持向量机比较特征直方图并分类区域。GPU 训练是系统的一部分，帮助承担计算量。整体上，这是一个完整的定位流水线：提出区域、描述区域、汇总描述、再分类。

Fisher 向量与深度学习前的进展

基于 Fisher 向量（Fisher vector）的方法在五届比赛中不断演进，并在 2010 至 2014 年的每一届 ILSVRC 上都表现强劲。^[1] Fisher 向量通过概括局部描述子的分布来编码图像，通常能给出比简单视觉词直方图更丰富的表示。这类方法在挑战赛前五年持续有效，说明深度学习之前的流程并非停滞：表示设计、编码方式和分类器选择都在改进。2011 年的分类与定位获胜系统，正处在这一工程化特征与高效学习方法的脉络中。

2012 年的转折

2012 届成为一个转折点：大规模深度神经网络进入大规模物体识别。^[1] 当年的获胜者 SuperVision 训练了一个具有 6000 万个参数的深度卷积神经网络（deep convolutional neural network），使用高效的 GPU 实现和随机失活（dropout）技巧。^[1] 卷积神经网络直接从图像中学习特征检测器，而不必只依赖手工设计的描述子。随机失活在训练中随机让部分单元失效，有助于防止大网络过拟合。模型拥有 6000 万个参数，GPU 实现是训练它的关键。这一结果标志着深度网络进入大规模物体识别；2011 年的结果则保留了工程化流程仍然强势时期的一个清晰截面。