Abstract

编码孔径快照光谱成像（CASSI）是捕获三维高光谱图像（HSI）的重要技术，涉及从其对应的编码二维测量中重建三维HSI的逆问题。

现有的基于模型和基于学习的方法要么无法探索不同 HSI 的隐含特征，要么需要大量配对数据进行训练，导致重建精度低或泛化性能差以及可解释性不足。

为了弥补这些不足，本文提出了一种新的HSI重建方法，通过模型驱动的低秩子空间表示的公式，利用HSI本身的全局光谱相关性，并通过数据驱动的自监督深度学习方案学习深度先验。

具体来说，我们首先开发了一个模型驱动的低秩子空间表示，将HSI分解为正交基和空间表示系数的乘积，然后提出了一个数据驱动的深度引导空间注意力网络（称为DGSAN），通过学习深度系数先验（DCP）自适应地重建HSI的隐含空间特征，并最终通过自监督训练的方式将这些隐含先验嵌入到迭代优化框架中，而无需任何训练数据。

因此，所提出的方法将提高重建精度、泛化能力和可解释性。在几个数据集和成像系统上进行了大量实验证实了我们方法的优越性。

Introduction

在这篇论文中，我们专注于通过结合模型驱动和数据驱动方法的优势来应对之前描述的现有挑战，以开发高效的HSI重建方法。具体而言，我们提出了一种名为LRSDN的新型HSI重建方法，通过耦合低秩子空间表示和自监督深度网络，分别捕捉全局光谱低秩先验和深度系数先验（DCP）。首先，我们不完全使用数据驱动的深度学习方法，而是开发了模型驱动的低秩先验，以探索基于光谱向量在低维子空间中的全局光谱相关性的假设，并且可以由正交光谱基和表示系数的乘积来表示。然后，从提出的自监督深度引导空间注意网络（DGSAN）中学习数据驱动的DCP，而无需任何外部训练数据，以重建HSI的复杂非线性空间特征。最后，在迭代优化算法中，模型驱动的低秩先验和数据驱动的DCP可以相互促进。在每次迭代中，通过闭式解和学习的DGSAN分别更新优化变量和网络参数。所提出的重建方法的示意图如图1所示。我们的贡献可以总结如下：

我们将HSI重建形式化为一个自监督的模型驱动和数据驱动框架，并提出了一种耦合模型驱动低秩先验和数据驱动DCP的迭代优化方法。在迭代过程中，这两个先验可以相互促进，以提高重建的可解释性和准确性。
我们设计了一种新的自监督神经网络称为DGSAN，而不是直接采用现有的无监督神经网络或预训练的深度去噪网络来学习DCP。DGSAN通过引导数据和快照观测来重建表示系数，而无需任何外部数据进行预训练。因此，所提出的方法可以保证泛化能力，并适用于不同的成像系统和数据集。
我们设计了一种高效的交替方向乘子法（ADMM）算法，用于开发HSI重建的迭代优化算法。对DD-CASSI和SD-CASSI系统进行了大量实验结果表明，所提出的方法优于基于手工制作和深度先验方法的基于模型的优化，并且与基于监督学习的方法取得了竞争性的结果。

【TIP 2024】LRSDN：Hyperspectral Compressive Snapshot Reconstruction via Coupled Low-Rank Subspace Representation and Self-Supervised Deep Network

Abstract

Introduction

CATALOG

FEATURED TAGS

FRIENDS