Abstract
扩散模型最近引起了人们的极大兴趣，因为它们在图像恢复方面的性能令人印象深刻，特别是在噪声鲁棒性方面。
然而，现有的基于扩散的方法是在大量训练数据上训练的，在分布中表现非常好，但可能很容易受到分布转移的影响。
这对于缺乏数据的高光谱图像（HSI）恢复特别不合适。
为了解决这个问题，这项工作提出了一个用于HSI恢复的自监督扩散模型，即去噪扩散空间光谱模型（DDS2M），该模型的工作原理是在反向扩散过程中推断所提出的变分空间光谱模块（VS2M）的参数，仅使用退化的HSI，没有任何额外的训练数据。
在VS2M中，自定义了基于变分推理的损失函数，使未经训练的空间和光谱网络能够学习后验分布，后者作为采样链的transitions，以帮助逆扩散过程。
得益于其自监督的性质和扩散过程，与现有的基于扩散的方法相比，DDS2M对各种HSI具有更强的泛化能力，与现有的HSI恢复方法相比，DDS2M对噪声的鲁棒性更强。
关于各种HSI上的HSI去噪、noisy HSI completion 和超分辨率的广泛实验证明了 DDS2M 优于现有的特定任务的先进技术。
Introduction
作为一种新的生成模型，扩散模型[37、13、28、38]因其在图像生成方面的先进性能而吸引了社区的极大关注。从本质上讲，扩散模型是使用变分约束目标训练的参数化采样链，这相当于基于分数的模型[39，40，41]。训练后，样本由采样链生成，从白噪声开始，逐渐去噪到干净的图像。值得注意的是，扩散模型可以超越图像合成[11、32、20]，并已广泛用于图像恢复任务，如超分辨率[16、46、34、6]、inpainting[16、46、33、21、39、41]、去噪[16]等。在这些方法中，基于扩散的图像恢复框架DDRM[16]实现了强大的噪声鲁棒性，这对于高光谱图像（HSIs）来说也是如此。由于有限的光线、光子效应和大气间隙，HSIs 经常遭受噪声损坏[19]。这激励我们通过利用扩散模型的力量恢复HSI，将DDRM[16]的强大噪声鲁棒性继承到HSI恢复。
然而，利用扩散模型的力量进行 HSI 恢复是具有挑战性的。瓶颈在于各种情况下对HSI的泛化能力差。现有的基于扩散的方法过度依赖于训练数据的逆境和数量，并且通常专注于特定领域，如面部。因此，这些方法在分布中的表现可能非常好，但可能很容易受到分布变化的影响，导致性能下降。这对于HSI恢复等数据匮乏的应用特别不合适，因为可用于 HSI 恢复训练的 HSI 非常有限[27]。这是因为与自然RGB图像相比，在现实世界中获取HSI的成本要高得多。此外，不同的传感器通常允许大的不同规格，例如使用的频段、空间和光谱分辨率。因此，在一个传感器捕获的HSI上训练的扩散模型可能对其他传感器捕获的HSI没有用。除了上面提到的泛化能力问题外，如何利用HSI的内在结构对于利用扩散模型的力量进行HSI恢复也至关重要。考虑到上述问题，非常需要为HSI恢复量身定制的有效扩散模型，该模型能够在各种实际场景中泛化到HSI，并利用HSI的内在结构。
为了解决上述泛化能力问题，一种补救措施是使用新兴的未经训练的神经网络。这些方法直接从单个退化图像中学习生成神经网络，而不是从大量的外部训练数据中学习。理由是，在没有训练数据的情况下，适当的神经网络架构已经可以编码许多关键的低级图像统计先验信息。由于其与训练数据无关的性质，未经训练的网络通常可以很好地泛化到其他数据。与此同时，由于我们需要在现实场景中灵活应对各种HSI，未经训练的网络被呈现为自然选择。此外，它们强大的表现力允许在HSI恢复的扩散模型中部署此类未经训练的网络。
在这项工作中，我们强制了一个自监督的去噪扩散空间光谱模型（DDS2M），它可以巧妙地缓解泛化能力问题，同时利用底层HSI的内在结构信息。DDS2M是一种去噪扩散生成模型，在有限时间后，以退化的HSI和退化模型为条件，逐步和随机地将样本去噪成恢复的结果。与使用神经网络预训练大量训练数据的现有扩散模型不同，DDS2M通过提出的变分空间光谱模块（VS2M）逆扩散过程，仅使用退化的HSI，而没有任何额外的训练数据；与DDRM的视觉比较见图1。
具体来说，提出的VS2M由两种类型的未训练网络（即未经训练的空间和光谱网络）和基于自定义的变分推理损失函数组成。未经训练的空间和光谱网络通过分别对来自线性混合模型[3]的 abundance maps 和 endmembers 进行建模来利用 HSI 的内在结构。基于变分推理的损失函数是定制的，使这些未经训练的网络能够学习手头任务的后验分布。这项工作的具体贡献总结如下：
- 我们提出了一个自监督的深度扩散空间光谱模型（DDS2M）。得益于其扩散过程和自监督的性质，与现有的HSI恢复方法相比，DDS2M对噪声具有更强的鲁棒性，与现有的基于扩散的方法相比，DDS2M对各种HSI具有卓越的泛化能力。据我们所知，DDS2M是第一个自监督扩散模型，它只能使用退化的 HSI 来恢复HSI，而不需要任何额外的训练数据。
- 我们设计了一个变分空间光谱模块（VS2M），以帮助逆扩散过程，该过程是采样链的 transitions。VS2M能够通过利用潜在 HSI 的内在结构来近似任务的后验分布。
- 关于HSI去噪、noisy HSI completion 和超分辨率的广泛实验说明了DDS2M优于现有的特定任务的先进状态，特别是在噪声的鲁棒性以及不同场景中对HSI的泛化能力方面。
