Abstract

本文总结了2022年感知超越可见光谱（PBVS）研讨会及计算机视觉与模式识别（CVPR）会议上首次半监督式高光谱目标检测（SSHOD）挑战的主要贡献。

SSHOD挑战赛是首个此类高光谱数据集，包含连续拍摄的帧，这些帧是在三天内从大学楼顶观察一个四路交通路口收集的。数据集共包含2890帧，平均分辨率为 $1600 \times 192$ 像素，具有从400纳米至900纳米的51个高光谱波段。SSHOD挑战赛使用989张图片作为训练集、605张图片作为验证集以及1296张图片作为评估（测试）集。每个集合都在不同的天气条件下获取，以最大化天气条件的变化。为了形成半监督学习任务，数据集的10%提供了标签，挑战赛的评估标准是整体类别集合以及单独移动目标类别（即车辆、公交车和自行车）的平均精度。

该挑战赛共有 38 人注册参加，其中 8 人参与验证阶段，3 人参与测试阶段。本文描述了数据集的获取、挑战赛的制定、提出的方法以及定性和定量的结果。

Introduction

高光谱图像（HSI）与普通彩色（RGB）图像的不同之处在于，它们大约包含50至400个连续的颜色波段，而不是常规的三个RGB波段。这种沿通道维度的分辨率增加提供了场景中物体材料的更多细节，并已被证明能增强深度神经网络对高光谱像素分类、目标跟踪和超分辨率的细粒度区分能力。高光谱像素分类是推动传感器设计和数据收集的研究领域，主要使用三个数据集进行研究：(1) 印第安松树林，(2) 萨利纳斯谷，和 (3) 帕维亚大学。印第安松树林和萨利纳斯谷主要包含不同类型的植被，而帕维亚大学包含大学周围通常可见的类别，例如树木、土壤和沥青。在这三种情况下，由于空间范围较小，研究人员常常采用蒙特卡洛（MC）交叉验证分割方法来评估各种基于深度学习的架构的性能。

大量的先前工作试图理解光谱图像中包含多种材料的动态场景理解所面临的挑战。然而，当前的非合成数据集从动态应用的角度存在两个主要缺陷，例如车辆目标检测。首先，这些数据集是在静态环境中捕获的，例如在 AeroRIT 中展示的飞行路线是在较高的地面采样距离（GSD）下捕获的，但由于小尺寸像素之间的显著重叠，不能用于目标定位。其次，它们不包含光谱成像中一些主要遮挡源的丰富实例，例如邻近效应、眩光和阴影。因此，需要一个带有真实环境挑战的标注动态HSI数据集，因为已知神经网络方法对图像扰动敏感，上述因素和大气变化可以显著改变图像组成，从而导致可能看起来不符合训练分布的网络签名。

出于这些动机，我们收集了一个运动数据集 - 我们的主要目标是提供信息来研究和解决在创建可部署模型时可能出现的挑战，这些模型使用光谱签名或与光谱签名的多模态组合用于目标检测、（未来的）跟踪和重新识别。RooftopHSI 数据集的目标是改善光谱成像领域最近发展的数据集收集和光谱成像利用方法的鲁棒性。我们在一所大学建筑的屋顶上安装了一个高光谱成像系统，俯瞰一个四路交通路口，并在三天内收集数据。

【CVPRW 2022】SSHOD：Semi-Supervised Hyperspectral Object Detection Challenge Results - PBVS 2022

Abstract

Introduction

CATALOG

FEATURED TAGS

FRIENDS