用于精确目标检测与语义分割的丰富特征层级

2013 年 11 月 11 日，Ross Girshick、Jeff Donahue、Trevor Darrell 和 Jitendra Malik 在 arXiv 上发布论文《用于精确目标检测与语义分割的丰富特征层级》^[1]。论文提出了一种检测方法，作者称之为 R-CNN，即「区域」加「卷积神经网络」，因为该方法把区域提议与卷积神经网络结合在一起^[1]。

一个停滞不前的基准

目标检测要回答两个问题：图里有什么物体，它们在什么位置。系统必须给每个目标画出一个框。衡量进展通常用 PASCAL VOC——一个由带框标注的照片组成的公开基准。常用分数是平均精度均值（mean average precision, mAP）：它把所有类别上的结果汇总成一个数，既反映系统报出的检测有多少是对的，也反映它找到了多少真正标注出来的目标，数值越高说明检测越好。

作者指出，PASCAL VOC 上的检测性能已经停滞，当时最好的方法都是复杂的集成系统，它们通常把多种低层图像特征与高层上下文结合起来^[1]。换句话说，领先的系统是由手工设计的描述子拼装起来的庞杂组合，每一次进一步改进都很有限。

区域提议遇上深度网络

作者没有手工设计图像特征，而是提出一种检测算法，把高容量卷积神经网络（convolutional neural network, CNN）作用于自底向上的区域提议（region proposal），以定位并分割目标^[1]。

这套做法分两步。第一步是区域提议：直接从图像自底向上地把像素和边缘聚合成几千个候选框，这些框很可能包含某个物体，但此时还不判断它是什么。第二步是让卷积神经网络逐一查看每个候选区域。卷积神经网络是一叠可学习的滤波器，逐层构造出特征层级：靠前的层对边缘、颜色边界这类简单模式有反应，靠后的层则对物体的部件乃至整个物体有反应。因此，把这样的网络作用在一个候选框上，得到的是该区域的一套丰富特征层级，而不是一小组手工设计的度量；再在这些特征之上接一个分类器，判断该区域究竟属于哪一类，或者并不包含目标。论文标题里的「丰富特征层级」说的就是这个意思。

标注数据不足时如何训练

与用于一般分类的图像集合相比，检测数据集很小，因为手工标注一个边界框成本很高。作者表示，在标注训练数据稀缺时，先针对一个辅助任务做有监督预训练（pre-training），再做面向具体领域的微调（fine-tuning），会带来显著的效果提升^[1]。具体说，网络先在标注充足的辅助任务上训练，使滤波器学到普遍有用的视觉特征；随后在小得多的、面向特定领域的数据上微调，让这些特征适应手头的物体和图像。

结果

该方法的平均精度均值比此前在 VOC 2012 上的最好结果提高了 30% 以上，达到 53.3%^[1]。在一个已经停滞的基准上出现这样幅度的跃升，正是论文最核心的发现。

意义

这个结果支持了两个想法。其一，检测所用的特征可以由深度网络学习，而不必从手工设计的描述子中拼装——论文把高容量卷积神经网络作用于区域提议，用它们来定位和分割目标^[1]。其二是迁移训练的做法：先在辅助任务上预训练，再在目标领域微调，作者报告这在标注数据稀缺时能带来显著提升^[1]。两者合在一起说明，论文所描述的那种停滞并不是任务本身的天花板。同一套区域和特征被同时用于定位与分割，标题中提到语义分割也正是这个缘故。R-CNN 还为这条路线定下了名字：区域提议加卷积神经网络^[1]。