Abstract

为了解决高光谱图像超分辨率（HSISR）的病态问题，通常的方法是使用高光谱图像（HSIs）的先验信息作为正则化项来约束目标函数。

使用手工制作的先验的基于模型的方法不能完全描述HSI的属性。

基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式先验。

然而，CNN的学习能力有限，它只考虑HSI的空间特征，而忽略了光谱谱间特征，卷积对远程依赖性建模无效。仍然有很大的提升空间。

这篇文章提出了一种新的HSISR方法，该方法使用 Transformer 而不是CNN来学习 HSI 的先验。

具体来说，作者首先使用近端梯度算法来求解HSISR模型，然后使用展开的网络来模拟迭代求解过程。

Transformer 的自注意力层使其具有空间全局交互的能力。

此外，作者在 Transformer 层后面添加了3D-CNN，以更好地探索HSI的空间-谱间相关性。

两个广泛使用的HSI数据集和现实世界数据集的定量和视觉结果都表明，与所有主流算法（包括最具竞争力的传统方法和最近提出的基于深度学习的方法）相比，该方法取得了相当大的收益。

Conclusions

这篇文章基于近端梯度算法和 Transformer 先验的高光谱图像超分辨率提供了一个新的深度展开网络。与其他基于深度学习的 HSI 超分辨方法使用CNN来学习HSI的先验不同，3DT-Net 使用 Transformer 层来挖掘空间先验，使用3D卷积层来挖掘空间光谱相关先验。与CNN相比，Transformer 具有远程建模能力，可以使用更少的参数来实现更好的性能。3D卷积同时沿着空间和通道维度滑动，使其更适合探索HSI的空间-谱间相关性。对两个公共模拟数据集和一个真实数据集的评估都表明，所提出的3DT-Net在定量结果和视觉质量方面实现了最先进的性能。

所提出的先验建模方法适用于许多低级图像恢复任务。特别是，它可以与即插即用框架下的任何方法无缝集成，特别适合处理高维数据，如高光谱图像、视频和光场。该方法的局限性在于，它比那些基于卷积块的网络更具计算复杂度。因此，将来作者将利用一些高效的实现来将该方法扩展到其他任务。

【深度学习】3DT-Net ：Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution

Abstract

Conclusions

CATALOG

FEATURED TAGS

FRIENDS