Faster R-CNN：用区域建议网络实现实时目标检测

要解决的问题

目标检测要回答两件事：图像里有什么物体，它们在哪里。论文作者指出，当时最好的目标检测网络依赖区域建议算法来推测物体可能的位置^[1]。这类算法先给出若干可能包含物体的区域，检测网络再对这些区域进行分类和位置调整。问题在于，区域建议是检测流程之外的一套计算，检测网络并不能直接完成这件事；论文要做的，就是把候选区域的生成纳入同一个网络，而不是把它留作独立的外部步骤。^[1]

方法

论文由 Shaoqing Ren、Kaiming He、Ross Girshick 和 Jian Sun 于 2015 年 6 月 4 日发布到 arXiv^[1]。核心是一个区域建议网络（Region Proposal Network，RPN），它与检测网络共享整幅图像的卷积特征（convolutional features），使区域建议几乎不带来额外成本^[1]。卷积网络在整张图上滑动滤波器，得到描述局部图像内容的特征；如果建议网络和检测网络使用同一套特征，就不需要为候选区域再单独做一遍特征提取。论文把这种共享特征的建议方式称为几乎无成本，原因就在这里。^[1] RPN 和检测网络可以通过共享卷积特征进行端到端（end-to-end）训练^[1]。端到端意味着建议和检测不是两段互不相干的训练，而是通过共享层一起优化，共享特征同时承载来自建议任务和检测任务的信号。因此论文给出的不是一个先做建议、再做检测的串联系统，而是一个用共同卷积计算把两件事耦合起来的统一网络^[1]。

结果

论文报告，这个统一网络让检测系统在图形处理器（GPU）上达到每秒 5 帧（frames per second）^[1]。作者还在 PASCAL VOC 2007、PASCAL VOC 2012 和 MS COCO 上报告了当时最好的目标检测精度，而且每个尺度只使用一张图像^[1]。速度与精度是放在同一个系统里报告的：共享特征用于生成建议，同一个网络又接受检测质量和吞吐量的评估^[1]。“每个尺度只使用一张图像”是报告精度时的输入条件，说明结果不是在每个尺度堆叠多张图像的情况下得到的。^[1]

为什么重要

这篇论文的关键在于把区域建议和检测放到同一套卷积特征上。此前区域建议算法负责在检测之前推测物体位置^[1]；论文让建议网络与检测网络共享整幅图像的卷积特征，使建议几乎无成本，并让整个系统可以端到端训练^[1]。这样一来，检测系统不再只是“先跑一个建议方法，再跑一个分类器”的组合，而是一个统一网络^[1]。论文标题把工作定位为迈向实时目标检测，GPU 上每秒 5 帧是文中给出的具体速度数字^[1]。同时，作者在 PASCAL VOC 2007、2012 和 MS COCO 上报告了当时最好的精度，说明这种整合并不是只拿速度换精度^[1]。