Abstract

高光谱成像是广泛应用中必不可少的成像模式，特别是在遥感、农业和医学领域。

现有的高光谱相机速度慢、价格贵、体积大，受此启发，从低预算的快照测量中重建高光谱图像(HSIs)引起了广泛关注。

通过将 truncated numerical optimization 算法映射到具有固定阶段的网络中，最近用于光谱快照压缩传感（SCI）的深度展开网络（DUN）取得了显著的成功。

然而，由于缺乏跨阶段特征交互和参数自适应调整，DUNs 还远远没有达到工业应用的范围。

这篇文章为 SCI 提出了一个新的高光谱可解释重建和最佳采样深度网络，称为HerosNet，其在ISTA展开框架下包括几个阶段。

在梯度下降步骤中，每个阶段可以灵活地模拟感知矩阵，根据上下文调整步长; 在近端映射步骤中，可以分层融合和交互前一阶段的隐藏状态，有效地恢复当前的HSI帧。

同时，学习到一个硬件友好的最优二值掩码，以进一步提高重构性能。

最后，经过验证，HerosNet在模拟和真实数据集上的性能都大大超过了最先进的方法。

Introduction

随着人工智能和机器人的发展，近年来对捕获和感知高光谱图像的需求急剧增加。基于传统的压缩感知（CS）[51，54]，光谱快照压缩感知（SCI）系统旨在通过二维探测器记录 3D 场景。它具有低带宽、低成本和高数据吞吐量的优势，这在广泛的应用中发挥了越来越重要的作用，如遥感、物体检测、超分辨率和医疗诊断[2,8,14,18,25,36,38,55]。在这篇文章中，我们专注于一个名为编码孔径快照光谱成像仪（CASSI）[11,21,30]的典型成像系统，该系统通过编码孔径（即物理掩码）调制光谱帧，并通过色散器在光谱维度上移动它们。

在过去的几年里，大量的用于 CASSI 压缩的 HSI 重建方法被提出，包括基于模型的方法和基于深度学习的方法。基于传统模型的方法[5,15,16,29, 34, 40, 41, 46]经常迭代搜索最佳解，并通过图像先验将结果优化为所需的信号域。虽然这些方法具有高度可解释性，但它们受到手工先验和缓慢的重建速度的限制。由于深度学习的发展，几种基于学习的方法[20，22-24，26，39，43，56，57]被用于重建HSI，这些方法直接学习从 2D 观测到 3D 高光谱立方体的端到端逆映射。与基于模型的方法相比，它们往往会大幅降低时间复杂性并实现更好的性能。然而，它们没有明确体现系统成像模型，只是被训练成一个黑匣子。

最近，一些研究人员将DUN引入了HSI重建任务，该任务融合了基于模型和基于学习的方法的优势[13、17、19、31、32、53]。DUN通过梯度下降模块执行迭代过程，并通过深度先验模块细化中间结果。尽管现有的DUN在某种程度上缓解了基于模型和基于学习的方法的一些缺点，但仍有几个瓶颈需要解决。首先，如何在阶段之间有效地互动和融合特征是提高重建质量的关键。大多数现有的DUN没有在程序和后续阶段之间建立联系。随着阶段数量的增加，有益的信息往往会在信息传输过程中丢失。此外，受CS[28]中内存机制的启发，前几个阶段的隐藏状态可以为当前阶段的计算提供补充信息。因此，必须在不同阶段之间引入特征交互机制，以获得增强的特征表示。其次，过去忽略了如何动态学习梯度下降模块中的参数。以前的研究人员通常将这些参数视为压缩HSI的固定常数。然而，固定参数无法在不同场景中进行自适应和上下文调整，这将导致次优重建，并限制DUN的灵活性。第三，针对HSI，现有的DUN没有将掩码优化和图像重建结合成一个统一的框架，这不能完全保留HSI的结构和信息。

受ISTA的启发，为SCI的新型高光谱可解释重构和最佳采样深度网络，称为 HerosNet，用于联合掩码优化和HSI重建。特别是，该网络由采样子网络、初始化子网络和恢复子网络组成。在ISTA-Net及其变体[37、44、49]的成功推动下，恢复阶段通过动态梯度下降模块（DGDM）更新当前估计值，并通过层次化特征交互模块（HFIM）完善粗略估计值。由于每个恢复阶段都对应于 ISTA 迭代，并且所有参数都是端到端学习的，因此该网络具有高质量重建的优点，具有很强的可解释性。例如，在图1中，所提出的 HerosNet 的结果比 DGSM[13] 的结果具有更清晰的详细纹理。总体而言，我们的贡献总结如下。

• 一个新的受 ISTA 启发的深度展开的网络，称为HerosNet，用于共同学习二值最佳掩码和恢复高质量的HSI。
• 引入了动态梯度下降模块（DGDM），以灵活模拟感知矩阵，并在梯度下降步中上下文调整步长大小。
• 设计了一个层次特征交互模块（HFIM），该模块融合并交互了以前阶段的隐藏状态，以在近端映射步骤中恢复当前阶段的HSI帧。
• 我们的 HerosNet 在模拟和真实数据集方面表现优于最先进的方法。

Related Works

Mask Optimization Algorithms

关于传统CS的一些现有工作探索了联合掩模优化和图像重建的可能性。例如，Zhang等人[50]提出了一个受约束的优化启发网络，用于自适应采样和恢复。You等人[45]引入了随机投影增强策略，以学习任意采样矩阵并提高模型的泛化能力。在光谱SCI中，Arguello等人[4]根据限制等距属性（RIP）[10]理论将掩码优化转化为秩最小化问题。此外，Wang等人[33]重新排列了移位的3D数据立方体，并将其划分为四个参数共享子 patch，用于采样掩码学习。同时，Zhang等人[52]设计了一个端到端可学习的自编码器，以优化 illumination pattern 并压缩HSI。尽管上述方法在一定程度上实现了自适应采样，但在光谱SCI中将掩码优化与DUN相结合仍然具有挑战性，值得探索。

Proposed Method

Architecture of Proposed HerosNet

Sampling Subnet

在本文中，采样子网络旨在学习HSI压缩感知的最佳二值掩码，该掩码保留了足够的光谱空间信息并消除了冗余信息。采样子网络的训练过程分为三个阶段，包括随机化、二值化和压缩。为了学习二进制掩码 $M$，采用均值 $\mu_b$ 和方差 $\sigma_b$ 的随机高斯初始化来生成连续矩阵 $\tilde M$。此外，我们设计了一个element-wise 二值函数 BinarySign（·），将连续矩阵转换为二值掩码，如下所示：

根据 3.1 中的成像规则， 我们使用一个转换函数 $\text{Mask2Mat}(·)$ 来将二值掩码 $M$ 转换为 Eq. (3) 中的感知矩阵 $\Phi$：

因为感知矩阵 $\Phi$ 被视为可学习的参数， 二值函数的导数被定义一个常数， 例如 $\text{BinarySign}’(z)=1$。 最后， 根据 Eq. (1) 和 Eq. (2)， 3D 高光谱图像别压缩为观测 $y$.

Initialization Subnet

给定观测 $y \in R^{H \times (W + C -1)}$， 初始化子网络目标是将 2D 观测拆分为 3D 高光谱图像 $x^{(0)} \in R^{H, W, C}$， 其中 $W, H$ 是帧的空间大小， $C$ 是光谱通道的数量。 特别地， 从观测 $y$ 中裁剪提取窗口，然后以 $d$ 的步长滑动以生成 $C$ HSI 帧。最终 $C$ 帧在通道维度上拼接组成 3D 高光谱图像 $x^{(0)} \in R^{H \times W \times C}$。

Conclusion

这篇文章提出了一种新的用于光谱快照压缩成像的HerosNet。

在ISTA的启发下，HerosNet展现了优化迭代过程，能够联合优化二值掩码，准确重建 HSI。

为了提高网络的泛化能力和灵活性，提出了一种动态梯度下降模块，实现自适应和内容感知的参数调整。

为了更好地利用交叉相位相关性，设计了分层特征交互模块，将不同相位之间的有用信息进行融合和交互。

最后，实验表明，网络在模拟和真实数据集上都优于最先进的方法。

• Previous
  【深度学习】Twins: Revisiting the Design of Spatial Attention in Vision Transformers
• Next
  【深度学习】Quantization-aware Deep Optics for Diffractive Snapshot Hyperspectral Imaging