Abstract
高光谱图像（HSI）重建在深度展开框架的指导下取得了令人满意的进展，将问题分解为数据模块和先验模块。
然而，现有方法仍然面临着与HSI数据匹配不足的问题。
问题存在于三个方面：
1）数据模块中的固定梯度下降步骤，而HSI的退化在像素级别是不可知的。
2）3D HSI立方体的先验模块不足。
3）阶段互动忽略了不同阶段特征的差异。
为了解决这些问题，在这项工作中，我们提出了一种适应像素的深度展开 Transformer（PADUT）用于HSI重建。
在数据模块中，采用像素自适应下降步骤，以便集中处理像素级别的不可知退化。
在先验模块中，我们引入了非局部光谱变换器（NST），以强调 HSI 的 3D 特征进行恢复。
此外，受到不同阶段和深度中特征多样表达的启发，通过快速傅立叶变换（FFT）改进了阶段互动。
在模拟和真实场景上的实验结果表明，与最先进的HSI重建方法相比，我们的方法表现出卓越的性能。
Introduction
随着深度展开框架利用神经网络展开迭代优化算法，通常包括数据模块和先验模块。如图2所示，不同位置的3D立方体中的像素在测量中被压缩，而现有的算法忽视了数据模块中这种特定于像素的退化。对于先验模块，去噪器在多阶段优化中起着关键作用。由于HSI以3D表示，现有的去噪器仍然存在有效利用空间-光谱信息的问题。
此外，在迭代恢复过程中，跨阶段融合是必要的，以防止丢失关键信息同时获得全面的特征。我们观察到频率信息在不同阶段和深度变化（见图3）。来自先前编码器层的特征具有更清晰的幅度信息，而来自先前编码器层的特征具有更清晰的相位信息。然而，在以前的工作中，跨阶段特征在频域中的基本差异被忽视了，这导致了多阶段框架性能的劣势。
受以上发现的启发，我们提出了一种适用于HSI重建的像素自适应深度展开变换器（PADUT）框架。首先，我们引入了深度展开框架，用于考虑数据模块中的位置特定退化信息的重建过程。其次，我们提出了一种非局部光谱重建 Transformer，用于利用每个阶段 HSI 的二维数据。第三，我们采用了HSI的频率分量分析来融合迭代阶段间的特征。通过观察到编码器特征和解码器特征在频域中具有不同的重点，我们提出了快速傅立叶变换阶段融合（FFT-SF）模块，这导致了更全面的特征，从而实现了卓越的性能。我们工作的具体贡献是：
- 我们提出了一种适用于HSI重建的像素自适应深度展开 Transformer。在数据模块中，我们引入了不同位置的像素级自适应恢复。在先验模块中，我们提出了一种非局部光谱变换器用于HSI处理。
- 我们为迭代重建过程中的跨阶段特征引入了一种新颖的频率视角。特别地，我们使用幅度和相位表示建立了不同阶段和深度之间的交互作用。
- 我们在仿真场景和实际场景上进行了大量实验，展示了我们的方法对于HSI重建的有效性。
Method
Framework
Pixel-Adaptive Prior Module. 从公式 (10) 可以观察到， $\frac{1}{1 + \mu}$ 在 $x$ 的优化中扮演一个重要的觉得。为了简单，我们使用 $F_\sigma$ 表示 $\frac{1}{1+\mu}$ 为：
\[x^{k+1} = z^k + F_{\sigma} \Phi^\top (\Phi \Phi^\top)(y - \Phi z^k) \tag{12}\]在压缩感知过程中，由于调制，不同位置和波段中的模式明显不同。由于仪器噪声的存在，HSI立方体中噪声的分布也是各异的。这种差异在恢复过程中持续存在。考虑到HSI中不同位置存在不一致和不可知的退化问题，我们设计了一个像素自适应的数据模块，用于深度展开框架。
我们的像素自适应先验模块的细节如图4（a）所示。由于物理掩模 $\Phi$ 建立了空间和光谱维度的相关性，而 $z_k$ 表示当前的输入特征，我们通过卷积层和通道注意力（CA）[11]层生成 3D 参数 $F_\sigma$。
-
Previous
【Research & Writing】IEEE Template -
Next
【TGRS 2023】Learning Degradation-Aware Deep Prior for Hyperspectral Image Reconstruction
