Abstract

特征金字塔网络（FPN）是目标检测器的关键组件之一。

然而，对于研究人员来说，有一个长期存在的谜题，即在引入FPN后，大目标的检测性能被普遍抑制。

为此，这篇首先在检测框架中重新审视 FPN，并从优化的角度揭示了 FPN 成功的性质。

然后，作者指出，大目标检测性能下降是由于集成 FPN 后出现不合适的反向传播路径。

它使骨干网络的每个级别只能查看特定尺度范围内的目标。

基于这些分析，提出了两种可行的策略，使主干的每个级别都能查看基于FPN的检测框架中的所有目标。

具体来说，一个是引入辅助目标函数，使每个骨干级别在训练期间直接接收各种尺度的目标的反向传播信号。

另一个是以更合理的方式构建特征金字塔，以避免不合理的反向传播路径。

Conclusion

这项工作首先从优化的角度确定了FPN成功的本质。

基于该原理，作者展示了FPN的引入会抑制大目标的检测性能的原因。

作者进一步得出结论，解决 ${AP_S, AP_M, AP_L}$ 中性能不一致的问题的关键是使每个骨干级别能够查看所有目标。

因此，作者提出设计两种策略来实现这一目标。

一是引入辅助损失，以便包含所有目标信息的辅助信号可以直接通过骨干网络的浅层。

另一个是将级联特征分组结构集成到现有的 FPN 中，这也可以修改目标函数和骨干网络浅层之间的反向传播路径。

广泛的实验显示了该原则的合理性和战略的有效性。