Abstract

本文提出了一种基于最大后验（MAP）估计框架的新型图像重建方法，该方法采用学习到的高斯尺度混合（GSM）先验。

与仅估计图像均值（即去噪先验）但忽略方差的现有展开方法不同，我们提出通过深度网络学习高斯尺度混合模型的均值和方差来表征图像。

此外，为了学习图像的长距离依赖性，我们基于Swin Transformer开发了一个增强的变体用于学习GSM模型。

最大后验估计器和深度网络的所有参数通过端到端训练共同优化。

大量的模拟和真实数据实验结果表明，该方法在光谱压缩成像和单图像超分辨率方面优于现有的最先进方法。

Method

文章中提出的图像重建方法DGSM（Deep Gaussian Scale Mixture Prior）使用学习到的高斯尺度混合（GSM）先验。该方法包含以下几个关键组成部分：

• GSM模型的应用：与传统的展开方法不同，DGSM不仅估计图像的均值，还估计方差，即GSM模型的尺度先验。

• 长距离依赖性的学习：考虑到通过深度卷积神经网络（DCNN）学习GSM模型的均值和方差可能会忽略图像的长距离依赖性，因此开发了一种基于Swin Transformer的增强变体来学习这些依赖性​​。

• 最大后验（MAP）估计框架：整个图像重建问题被构建为一个最大后验估计问题，利用学习到的GSM模型，并通过端到端的方式联合优化MAP估计器和深度网络的所有参数。

• 网络架构：提出了一个端到端的网络，该网络通过多个阶段对 $x$（图像）和 $w$（正则化参数）进行迭代优化。网络包括两个子任务：光谱压缩成像（SCI）和单图像超分辨率（SISR）。其中，SCI任务将测量 $y$ 分割成三维数据立方体来初始化 $x$ ，而SISR任务则使用双线性插值运算符来初始化 $x$。此外，使用两个子网络分别学习测量矩阵 $A$ 及其转置 $A^\top$。

• 基于 Swin Transformer 的 GSM 先验网络：采用了基于Swin Transformer的网络，而不是U-Net，来估计GSM模型的方差和均值，以提高图像重建的质量。这个Transformer网络包括一个嵌入层、两个编码块、一个瓶颈块、两个解码块、一个 $w$ 生成器和一个 $u$ 生成器。

正则化参数的学习：在整个过程中，学习正则化参数 $w$ 和均值 $u$ 至关重要。这些参数通过一个单独的3×3卷积层来估计。

优化方法：为了解决传统方法中需要大量迭代才能收敛的问题，并提高重建质量，通过深度网络联合优化$x$ 和 $w$ 。网络设计采用了统一的框架，通过迭代优化 $x$ 和 $w$ 。