【深度学习】Learning Tensor Low-Rank Prior for Hyperspectral Image Reconstruction

Posted by ShawnD on June 18, 2022

Abstract

为了获取动态场景的光谱信息,提出了一种基于快照的高光谱成像技术。

这篇文章提出了一种深度神经网络,通过学习高光谱图像在特征域的低秩先验张量来提高重建质量。

该方法受 canonical-polyadic (CP) 分解理论的启发,其中一个低秩张量可以表示为几个秩为1的10分量的加权和。

具体来说,首先通过两个步骤学习图像特征的低秩张量先验:(a)生成具有区别分量的秩1张量,从图像特征的空间和通道维度收集上下文信息;(b)将这些秩为1的张量聚合为一个低秩张量,作为一个 3D attention map 来挖掘全局相关性并细化图像特征。

然后,将学习到的张量低秩先验集成到迭代优化算法中,得到端到端HSI重构。

对合成数据和实际数据的实验表明了该方法的优越性。

Conclusion

这篇提出了一种深度神经网络,通过在特征域刻画HSI的张量低秩先验来提高快照高光谱图像的重建性能。

具体而言,首先利用CP分解对图像特征的低秩张量先验特征进行表征,分为两步:

(a) 生成具有判别分量的秩1张量,从空间和通道两个维度收集上下文信息;

(b)将这些秩为1的张量聚合为一个低秩张量,作为一个3D attention map,利用全局相关性并细化图像特征。·

然后,将学习到的张量低秩先验集成到迭代优化算法中,得到端到端HSI重构。

对合成数据和实际数据的实验验证了该方法的优越性。