TIP 2023

【TIP 2023】Spatially Varying Prior Learning for Blind Hyperspectral Image Fusion

Posted by ShawnD on December 14, 2023

Abstract

文章的摘要主要介绍了一种用于盲目高光谱图像融合（HIF）的深度学习方法。该方法旨在从低分辨率的高光谱图像（LR-HSI）和高空间分辨率的多光谱图像（HR-MSI）中恢复出高分辨率的高光谱图像（HR-HSI）。现有的方法通常假设空间和光谱领域的退化是已知的，或者在基于深度学习的方法中存在成对的高低分辨率训练数据。然而，这样的假设在实际应用中往往不成立。此外，大多数现有工作要么引入手工制定的先验，要么将HIF作为一个黑盒问题来处理，无法充分利用物理模型。

为了解决这些问题，作者们提出了一种基于拉普拉斯分布（LD）先验的深度盲HIF方法，该方法无需成对训练数据。他们还开发了一个观测模块，直接从LR-HSI数据中学习空间领域的退化，解决了空间变化退化的挑战。此外，文章还提出使用基于Swin-Transformer的去噪器来学习LD模型的不确定性（均值和方差），并从残差误差中估计退化图像的方差（而不是将其视为全局标量）。文章中的最大后验（MAP）估计算法和观测模块的所有参数可以通过端到端训练共同优化。在合成数据和实际数据集上的广泛实验表明，该方法在客观评价指标和视觉质量方面都优于现有的竞争方法。

Method

观测模块：首先，低分辨率的高光谱图像（LR-HSIs）被输入到观测模块中，以学习空间域中的模糊核。这些模糊核在随后的重建模块中起着重要作用。同时，对LR-HSIs进行双三次上采样操作，以得到初始估计Z(0)。

重建模块：在重建模块中，估计的当前 Z(t)、输入的LR-HSIs X和高空间分辨率的多光谱图像（HR-MSIs）Y被用来最小化重建误差。该模块的架构主要涉及空间和光谱域的退化操作符（H和P）及其转置版本（HT和PT），以及在估计退化图像与真实图像之间的残差误差中应用的空间变化权重（ $\eta_{lr}$和 $\eta_{rgb}$）。这种对称架构体现了退化图像在重建模块中的双重作用，而权重设计基于空间和光谱退化图像的方差，以评估估计退化图像的可信度。更具体地，提出将估计的退化图像与真实图像之间的残差误差输入到包含三个卷积层的 Resblock 中，以获得权重 $\eta_{lr}$ 和 $\eta_{rgb}$ 。

最大后验（MAP）估计：HR-HSIs 的 MAP 估计与学习到的拉普拉斯分布（LD）先验相结合，隐含地引入了稀疏正则化。这一过程被展开成深度神经网络，其中 HR-HSIs 的先验及其不确定性（即先验的方差）通过深度网络共同学习。为了更好地利用高光谱图像的空间-光谱相关性，提出借助 Swin-Transformer 来估计未知 HR-HSI 图像的先验（即均值）和不确定性（即方差）。广泛的实验结果表明，该方法优于几种现有的最先进的盲 HIF 方法。该论文的主要贡献包括提出的学习LD模型利用高光谱图像的空间-光谱相关性，同时隐含地将稀疏正则化引入到方法中。