【深度学习】Adaptive Nonlocal Sparse Representation for Dual-Camera Compressive Hyperspectral Imaging

Posted by ShawnD on June 16, 2022

Abstract

利用压缩感知(CS)理论,编码孔径快照光谱成像(CASSI)提供了一种从二维观测中恢复三维高光谱数据的有效解决方案。

CASSI的双摄像头设计,通过添加未编码的全色观测,增强了重建保真度,同时保持快照的优势。

为了提高双摄像头压缩高光谱成像(DCCHI)的性能,这篇文章提出了一种自适应非局部稀疏表示(ANSR)模型。

具体而言,将CS重构问题表述为基于三维立方体的稀疏表示,充分利用空间域和光谱域的非局部相似性。

关键观察是,全色图像除了起到直接观测的作用外,还可以进一步利用全色图像来帮助非局部相似性估计。

因此通过自适应结合高光谱重建图像内部相似度和全色图像外部相似度,设计了一种联合相似度度量。

这样大大提高了CS重构的保真度。仿真和硬件实验结果表明,该方法比现有方法有了明显的改进。

Conclusion

通过添加全色观测,DCCHI增强了重建保真度,同时保持了CASSI的快照优势。这篇文章提出了一种新的ANSR模型来提高DCCHI的性能。 为了充分利用空间域和光谱域的非局部相似性,将CS重构问题表述为基于三维立方体的稀疏表示。全色图像除了起到直接观测的作用外,还进一步帮助非局部相似度估计。具体地说,通过自适应地结合高光谱重建图像内部相似度和全色图像外部相似度,设计了一种联合相似度度量。通过这种方式, CS重建的保真度得到很大的提升。仿真和硬件实验结果表明,该方法比现有方法有显著的改进。

未来的工作主要有以下几个方面。首先,如上所述,将研究用于稀疏表示的最佳立方体大小如何随着图像分辨率和类别的变化而变化。其次,通过在非局部稀疏表示中加入时间维度,提出的ANSR模型可以进一步扩展到[16]中进行的高光谱视频采集。最后,由于高光谱数据的高维性和CS重建的计算密度,目前算法无法实时执行。研究利用并行计算加速重构具有重要的意义。