Abstract

去噪是高光谱图像（HSI）应用的关键一步。

尽管见证了深度学习的巨大力量，但现有的 HSI 去噪方法在捕获非局部自相似性方面受到限制。

Transformer 在捕获远程依赖性方面显示出潜力，但很少有人尝试使用专门设计的 Transformer 来模拟 HSI 的空间和光谱相关性。

在本文中，我们通过提出一个 spectral enhanced rectangle Transformer 来解决这些问题，推动它探索HSI的非局部空间相似性和全局光谱 low-rank 属性。

对于前者，我们水平和垂直地利用矩形的自注意力来捕捉空间领域的非局部相似性。

对于后者，我们设计了一个光谱增强模块，该模块能够提取空间光谱立方体的全局 low-rank 属性，以抑制噪声，同时实现非重叠空间矩形之间的交互。

对合成噪声 HSI 和真实噪声 HSI 进行了广泛的实验，显示了提出的方法在客观度量和主观视觉质量方面的有效性。

Introduction

具有足够光谱信息的高光谱图像（HSIs）相比于RGB图像，能够提供更详细的特征以区分不同材料。因此，HSIs已被广泛应用于人脸识别[37, 38]、植被检测[4]、医学诊断[43]等领域。由于扫描设计[2]和大量波段，各波段中的光子数目受到限制。高光谱图像容易受到各种噪声的影响。除了视觉效果不佳外，这种不受欢迎的退化还会对下游应用产生负面影响。为了获得更好的视觉效果和HSI视觉任务的性能，去噪是HSI分析和处理的基本步骤。

与RGB图像类似，高光谱图像在空间域具有自相似性，表明相似的像素可以被分组并一起去噪。此外，由于高光谱成像系统能够以很小的光谱分辨率获取图像，高光谱图像在光谱域内具有内在相关性。因此，在设计HSI去噪方法时，考虑到空间和光谱域都是重要的。传统的基于模型的HSI去噪方法[10, 17, 21]采用手工制作的先验来通过迭代求解优化问题来探索空间和光谱相关性。在这些工作中，总变差[20, 21, 52]先验、非局部相似性[19]、低秩[8, 9]属性和稀疏性[42]正则化经常被利用。这些方法的性能取决于手工制作先验的准确性。在实际的HSI去噪中，基于模型的方法通常耗时，并且在不同场景中的泛化能力有限。

为了获得对噪声去除的强大学习能力，深度学习方法[7,35,41,49]被应用于HSI去噪，并取得了令人印象深刻的恢复性能。然而，大多数这类作品利用卷积神经网络进行特征提取，并依赖于局部滤波器响应来在有限的感受野中分离噪声和信号。

最近，视觉Transformer已经在高级任务[16, 39]和低级任务[1,13,50]中取得了具有竞争力的结果，显示了在图像区域建模长程依赖关系的强大能力。为了减少对图像尺寸的不可承受的二次计算成本，许多工作已经研究了空间注意力的高效设计[11,46,47]。Swin Transformer [28]将特征图分割成移位的正方形窗口。CSWin Transformer [15]在特征图上开发了一个条纹窗口来扩大注意力区域。由于HSI通常具有大的特征图，探索噪声像素之外的相似性可能会造成不必要的计算负担。因此，如何有效地建模非局部空间相似性对于HSI去噪Transformer仍然是一个具有挑战性的问题。

高光谱图像通常位于光谱低秩子空间[9]中，这可以保持显著信息并抑制噪声。这表明非局部空间相似性和低秩光谱统计量应该共同用于HSI去噪。然而，现有的HSI去噪方法[24, 45]主要通过矩阵分解利用低秩特性，这是基于单个HSI并需要长时间解决的。在大型数据集中几乎不考虑全局低秩属性。

在本文中，我们提出了一种用于HSI去噪的光谱增强矩形Transformer（SERT）。为了以合理的成本增强模型容量，我们开发了一个多形状矩形自注意力模块，全面探索非局部空间相似性。此外，我们在光谱增强模块中聚合了最具信息量的光谱统计量，以抑制噪声，该模块利用全局光谱记忆单元的帮助将空间-光谱立方体投影到低秩向量中。光谱增强模块还提供了非重叠空间矩形之间的交互作用。通过我们提出的Transformer，同时考虑了空间非局部相似性和全局光谱低秩特性，以有利于去噪过程。实验结果表明，我们的方法在模拟数据和真实噪声HSI方面显著优于现有方法。

总的来说，我们的贡献可以总结如下：

• 我们提出了一种用于HSI去噪的光谱增强矩形Transformer，可以很好地利用噪声图像的非局部空间相似性和全局光谱低秩特性。 • 我们提出了一个多形状矩形空间自注意力模块，有效地探索HSI中的全面空间自相似性。 • 我们采用了具有记忆块的光谱增强模块，用于从HSI立方体补丁中提取信息量丰富的低秩向量并抑制噪声。

Spectral Enhanced Rectangle Transformer

【深度学习】SERT：Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising

Abstract

Introduction

Spectral Enhanced Rectangle Transformer

CATALOG

FEATURED TAGS

FRIENDS