Abstract

双摄像头压缩高光谱成像（DC-CHI）提供了通过融合压缩和全色（PAN）图像重建三维高光谱图像（HSI）的能力，这在实践中对快照式高光谱成像显示出巨大潜力。

在本文中，我们介绍了一种新型的DCCHI重建网络——内部-间部相似性利用变换器（In2SET）。

我们的关键见解是充分利用PAN图像来辅助重建。

为此，我们提出使用PAN图像内部的相似性作为代理，以近似原始HSI中的内部相似性，从而为更准确的HSI重建提供了增强的内容先验。

此外，我们旨在将底层HSI的特征与PAN图像的特征对齐，保持语义一致性，并为重建过程引入新的上下文信息。

通过将In2SET集成到PAN引导的展开框架中，我们的方法显著提高了重建图像的空间-光谱保真度和细节，提供了对场景更全面、更准确的描述。

在真实和模拟数据集上进行的广泛实验表明，我们的方法在重建质量和计算复杂度方面始终优于现有的最先进方法。

【arXiv 2023】In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging