Abstract

快照压缩成像（SCI）是一种有前景的技术，通过压缩方式在二维探测器上捕获三维高光谱图像（HSI）。

从相应的二维测量中重建HSI的逆问题是具有挑战性的。

然而，当前的方法要么忽视了底层特征，如高光谱相关性，要么需要大量的训练数据集，导致在性能、泛化能力和可解释性之间无法达到充分的平衡。

为了解决这些挑战，在本文中，我们提出了一种称为LR2DP的新方法，该方法将模型驱动的低秩先验和数据驱动的深度先验结合起来进行SCI重建。

这种方法不仅捕捉了HSI的光谱相关性和深层空间特征，还充分利用了基于模型和基于学习的方法，而无需额外的训练数据集。

具体来说，为了有效地保留HSI的强光谱相关性，我们提出HSI位于低秩子空间中，从而将重建HSI的问题转化为估计光谱基础和空间表示系数。

受到无监督深度图像先验（DIP）和训练深度去噪先验（DDP）相互促进的启发，我们将无监督网络和预训练的深度去噪器整合到插入式（PnP）机制中，一起估计表示系数，旨在探索HSI的内部目标图像先验（由DIP学习）和外部训练图像先验（由预训练DDP描述）。

采用有效的半二次分裂（HQS）技术优化提出的HSI重建模型。对模拟和真实数据集进行的大量实验表明，所提出的方法优于最先进的方法。

Introduction

最近，为了解决HSI训练数据的问题，基于混合的方法将由预训练深度网络或未经训练的深度网络描述的深度先验以及手工制作的先验整合到即插即用（PnP）框架中用于SCI重建。由于这些方法不需要额外的训练数据，并且整合了成像模型，因此在重建性能和泛化性能之间取得了良好的平衡。然而，大多数基于混合的方法通常直接为HSI本身设计深度先验，而忽视了HSI的具有区分性的内在光谱低秩结构，这可以促进具有准确光谱信息的SCI重建。此外，预训练或未经训练的深度先验与手工制作的先验的粗略组合可能会忽略描述不同目标特征的深度先验之间的潜在协作。

为了解决这些问题，我们将SCI重建问题形式化为流行的插拔式（PnP）框架（见图1），旨在充分利用基于模型和基于学习的方法的混合优势，并使这些优势相互促进。首先，为了有效地保留HSI的强光谱相关性，我们设计了基于模型的低秩子空间表示（LRSR），将高维HSI投影到低维光谱子空间中。因此，HSI重建问题转化为光谱基础和空间表示系数的估计，这通常比直接重建原始HSI更精确，因为未知变量的数量大大减少。此外，基于模型的低秩先验可以继承基于模型的方法的已建立优势，如高可解释性和优秀的泛化能力。其次，与现有方法不同的是，我们不直接通过采用手工制作的先验或设计无监督深度图像先验（DIP）或仅使用预训练的深度降噪先验（DDP）来规范原始HSI，而是将无监督的DIP和预训练的深度降噪器集成到一起，分别探索表示系数的内部和外部结构，这更稳定和合理，因为表示系数的子空间与原始HSI所涵盖的子空间相同。特别是，内部结构特征是通过DIP网络从数据本身中学习到的，而外部特征则是通过预训练的深度降噪器从各种额外数据集中获取的。我们设计的数据驱动深度先验的优势在于，它们不仅可以大大减少由基于模型的手工制作先验引起的总体误差，而且可以享受深度神经网络的强大功能，而无需任何额外的训练数据。最后，考虑到基于模型和基于数据的先验可以相互促进，我们提出了一种新的方法（称为LR2DP），通过结合低秩和深度先验来增强SCI重建，具有强大的可解释性、优越的泛化能力和高重建能力。

图2提供了一个示例来说明基于模型的低秩先验和基于数据的深度先验确实是互补的。我们可以观察到，当仅使用DIP时，图像的整体结构可以被重建，但会出现额外的噪声并且丢失了光谱信息[见图2(b)]。当DDP引入到DIP中时，性能得到了改善，因为噪声已经消失。然而，由这两个深度先验重建的结果过度平滑[见图2(c)]。同样，低秩先验可以促进DIP保留光谱信息，但图像中存在着伪影[见图2(d)]。相反，提出的方法将低秩先验和两个深度先验结合起来，重建了整体结构，而没有额外的噪声或模糊，并有效地保留了光谱信息[见图2(e)]。本文的主要贡献可以总结如下。

1）我们提出了一种新的方法，将基于模型和基于学习的方法的优势结合起来，用于SCI重建，以便通过基于模型的低秩先验和基于数据的深度先验分别捕获HSI的强光谱相关性和空间结构。

2）无监督的DIP和预训练的DDP被设计为深度先验，用于正则降维后的表示系数，而不是正则HSI本身。这样可以有效地探索HSI的深层内部和外部特征，而无需额外的训练数据集。

3）设计了一种高效的优化框架——半二次分裂（HQS），用于解决所提出的系数重建模型。对模拟和真实数据集的一系列实验表明，所提出的方法达到了最先进的性能水平。

Related Work

Hybrid-Based Methods

为了应对HSI训练数据不足的问题，基于混合的方法尝试将传统物理模型和PnP先验（预训练或未训练的深度降噪网络）结合起来用于SCI重建，这继承了基于模型和基于学习的方法的优势。为了平衡SCI重建的速度、准确性和泛化能力，Yuan等人提出了一种有效的PnP-GAP算法，通过使用各种降噪器，如基于学习的FFDNet。由于仅使用单个预训练的降噪器无法获得令人满意的结果，FFDNet-TV将FFDNet和TV降噪器结合起来改进了现有的基于混合的SCI重建算法。由于预训练的深度降噪器FFDNet是从自然图像中学习的，可能无法很好地代表HSI。为了解决这一挑战，PnP-DIP开发了一个自监督神经网络，将DIP集成到PnP机制中，用于SCI重建。总体而言，基于混合的方法在正则化模型中集成了隐式深度降噪器或显式手工制作的降噪器，可以提高SCI重建的可解释性和泛化能力。尽管这种方法的有效性已经得到证明，但它们通常直接设计PnP先验来学习HSI本身，却忽视了HSI的区分性内在低秩结构，这限制了光谱重建质量的提高。此外，通常的手工制作降噪器或深度降噪器的组合缺乏对HSI空间信息的进一步探索。

受PnP先验的有效性和泛化能力的启发，我们尝试将基于混合的方法的优势融入到编码SCI重建中，并纠正其中的不足以有效提高重建质量。

Notations and Problem Formulation

Notations

在这篇文章中，标量，向量，矩阵和张量表示为小写和大写($b, B \in \mathbb{R}$), 粗体小写 ($\bf{x} \in \mathbb{R}^b$), 粗体大写字母 ($\bf{X} \in \mathbb{R}^{I \times J}$)以及话题字母（$\mathcal{X} \in \mathbb{R}^{I_1 \times I_2 \times … \times I_n}$）。

Proposed Method

全局光谱相关性是存在于HSI中的内在先验，在不同的应用中被广泛使用，如压缩高光谱成像、超分辨率和恢复。为了捕获HSI的全局光谱相关性，引入了低秩子空间表示(LRSR)，近似如下：

其中 $E \in \mathbb{R}^{B \times l}$ 表示捕获不通光谱信号常见子空间的正交基， $\mathcal{Z} \in \mathbb{R}^{h \times w \times l}$ 是子空间表示系数。图 4 展示了通过 LRSR 表示的 HSI 的全局光谱联系。

利用低秩子空间分解，HSI的重建可以转化为光谱基和子空间系数的估计。由于真实图像 $X$ 是未知的，直接从（7）中学习光谱基是困难的。为了获得光谱基，我们使用上一次迭代中 $\hat X$ 的奇异值分解（SVD）来学习近似解。给定 $\hat X$ 的估计结果，我们可以按以下方式获得光谱基础：

其中 $U$ 是 $\hat X_{(3)}$ 的左奇异矩阵。

Combining Low-Rank and Deep PnP Priors

• Previous
  【TIP 2024】LRSDN：Hyperspectral Compressive Snapshot Reconstruction via Coupled Low-Rank Subspace Representation and Self-Supervised Deep Network
• Next
  【SPM 2023】Bayesian Deep Learning for Image Reconstruction From structured sparsity to uncertainty estimation