Abstract

行人检测是许多下游应用的基础任务。

可见光和热成像作为两种最重要的数据类型，通常用于在各种环境条件下检测行人。

许多最先进的工作提出使用双流（即双分支）架构来结合可见光和热成像信息以提高检测性能。

然而，传统的基于可见光-热融合的方法在能见度差的条件下无法从可见光分支获取有用信息。

有时可见光分支甚至可能会将噪声带入融合特征中。

在本文中，我们提出了一种新型的热成像和可见光融合架构用于行人检测。

我们不是简单地使用两个分支分别提取热成像和可见光特征然后融合它们，而是引入了一个幻觉分支来学习从热成像到可见光域的映射，形成一个新颖的三分支特征提取模块。

然后我们自适应地融合来自所有三个分支（即热成像、可见光和幻觉）的特征图。

通过这个新集成的幻觉分支，我们的网络在具有挑战性的低能见度条件下仍然可以获得相对良好的可见光特征图，从而提升整体检测性能。

最后，我们通过实验展示了所提出架构相比传统融合方法的优越性。