Mask R-CNN

概况

Mask R-CNN 是一个用于物体实例分割（object instance segmentation）的框架。输入一张图像，它会检测出其中的物体，并为每个实例生成高质量的分割掩码（mask）^[1]。目标检测通常给出每个物体的边界框（bounding box）和类别；实例分割则进一步把像素分配给每一个具体物体。Mask R-CNN 把这两类任务放在同一个模型里完成。

论文于 2017 年 3 月 20 日首次提交到 arXiv，编号为 1703.06870 ^[1]。作者是 Kaiming He、Georgia Gkioxari、Piotr Dollar 和 Ross Girshick ^[1]。

做法

方法建立在 Faster R-CNN 之上。Faster R-CNN 已经有一个用于边界框识别的分支；Mask R-CNN 增加了一个分支，与这个已有分支并行地预测物体掩码 ^[1]。也就是说，它没有用分割取代检测，而是在保留检测器的同时，让额外的分支为每个检测到的实例输出掩码。检测器负责回答物体在哪里、是什么，掩码分支则给出逐像素的实例标记，两者在同一框架中配合。

作者称这个框架易于训练 ^[1]。他们还报告说，它只给 Faster R-CNN 增加很小的开销，运行速度为 5 帧每秒（frames per second）^[1]。对于一个要输出掩码的模型来说，这两点很关键：掩码预测比边界框预测多出工作，但论文把额外成本描述为很小。

结果

论文报告在 COCO 全套挑战赛的三个赛道中都取得了最好结果 ^[1]。作者还展示了这个框架可以推广到其他任务，例如在同一个模型中估计人体姿态 ^[1]。这已经不只是给物体生成掩码：同一套结构还能用于另一种同样具有空间布局的输出。

意义

Mask R-CNN 的重要性来自把两类常被分开处理的输出合在一起：目标检测和逐实例分割。检测部分给出边界框与识别结果，新增分支给出掩码 ^[1]。由于掩码分支并行运行，这个设计保留了检测器的结构，同时只增加相对较小的计算量 ^[1]。

论文也把这个模型呈现为一个通用框架，而不是只做分割的单一系统。它能在同一个模型中估计人体姿态，就是这种通用性的一个例子 ^[1]。从工程角度看，一个模型同时完成检测、分割并支持相关空间任务，比一组互不相关的流程更容易描述和训练；作者也明确称 Mask R-CNN 易于训练 ^[1]。

范围

论文的结论有明确范围：在 Faster R-CNN 上增加掩码预测分支，在 COCO 三个赛道取得最好结果，达到 5 帧每秒，并可推广到人体姿态估计 ^[1]。它没有把实例分割当成一个孤立任务，而是把它作为目标检测器的扩展。这个框架的核心正在这里：检测和掩码预测共用一套框架，掩码分支与边界框分支并行工作 ^[1]。