用于密集目标检测的焦点损失

问题

《用于密集目标检测的焦点损失》（Focal Loss for Dense Object Detection）于2017年8月7日首次提交到 arXiv，编号为 1708.02002，作者是 Tsung-Yi Lin、Priya Goyal、Ross Girshick、Kaiming He 和 Piotr Dollar。^[1] 论文从一个对比出发。当时最准确的目标检测器是 R-CNN 风格的两阶段（two-stage）方法：它把分类器应用在一组稀疏的候选位置上。^[1] 单阶段（one-stage）检测器则在密集采样（dense sampling）的位置上工作。按理说，这会更快、更简单，因为不需要单独的稀疏候选阶段；但在精度上，单阶段检测器当时一直落后于两阶段检测器。^[1]

诊断

论文指出，密集检测器中前景与背景之间的极端类别不平衡是核心原因。^[1] 密集采样会让检测器评估非常多的位置，其中绝大多数是背景，只有很小一部分对应目标。如果训练目标对每个位置给予相近的角色，数量庞大的背景样本就可能主导总损失。即使每一个容易的背景样本只贡献很小的损失，它们合起来也可能很大。这样，模型会把大量训练精力花在已经能分对的样本上，而不是花在真正影响检测质量的困难样本上。从训练角度看，问题不是模型完全分不对，而是训练分布被大量容易的背景位置挤压。焦点损失的出发点正是：与其让这些样本反复贡献损失，不如降低它们的权重，让少数困难样本和前景样本的相对影响上升。

方法

论文提出的办法是重新塑造标准交叉熵（cross entropy）损失，对分类已经很好的样本降低其损失权重；作者把这样得到的损失称为焦点损失（focal loss）。^[1] 在通常的交叉熵中，一个被分得很好的样本仍然会有很小但非零的损失。当这类样本极多时，它们的总影响仍然可能很大。焦点损失把这类容易样本的权重压小，使训练信号更多集中在模型尚未分好的样本上。^[1] 这是一种损失函数层面的调整，并不新增一个两阶段候选流程；它改变的是密集样本在训练中的加权方式。

意义

这篇论文的意义在于，它把密集检测的精度问题落到了一个具体机制上：前景与背景的极端不平衡。^[1] 它也给出了直接回应：改变损失函数，让分类良好的简单样本不再主导训练。^[1] 这样，单阶段与两阶段检测器之间的精度差距，至少有一部分可以被理解为训练目标的设计问题，而不只是结构问题。^[1]

对学习目标检测的读者来说，这里有一个有用的视角：检测器的好坏不只取决于网络有多少阶段、特征有多强，也取决于训练样本如何分布、损失如何加权。论文认真对待密集检测器中数量压倒性的背景位置，并把它转化为损失函数的设计目标。^[1]