【深度学习】DeSCI:Rank Minimization for Snapshot Compressive Imaging

Posted by ShawnD on September 5, 2022

Abstract

快照压缩成像(Snapshot compression imaging, SCI)是指将多帧图像映射为一次测量的压缩成像系统,视频压缩成像和高光谱压缩成像是两种代表性应用。

虽然高速视频和高光谱图像已经取得了令人振奋的结果,但其较差的重建质量阻碍了SCI的广泛应用。

这篇文章旨在通过利用期望信号中的高维结构来提高SCI的重构质量。

作者建立了一个联合模型,其集成了视频/高光谱帧的非局部自相似性和秩最小方法用于 SCI 感知过程。

在此基础上,提出了一种交替最小化算法来求解该非凸问题。

作者进一步研究了SCI中采样过程的特殊结构,以解决SCI重构中的计算工作量和存储问题。

仿真和真实数据(由四个不同的SCI相机捕获)的结果表明,所提出的算法与目前最先进的算法相比有显著的改进。

Concluding Remarks

这篇文章提出了一种新的算法,从快照压缩成像系统中的一次测量中重建高速视频帧,以视频和高光谱图像为两个示例应用。 将秩最小方法纳入快照压缩成像系统的前向模型,并提出了一个联合优化问题。开发了一种交替最小化算法来解决这个联合模型。作者提出的算法研究了视频(高光谱)帧中的非局部自相似性,并比现有算法进行了重大改进。仿真和真实数据的广泛结果证明了该算法的优越性。

最近,深度学习算法已用于CS inversion[61]、[62]、[63],如导言所述,深度学习在[30]、[31](但存在一些限制)中用于视频CS。虽然这些算法大多试图通过卷积神经网络(CNN)学习端到端 inversion 网络,但Yang等人[62]将CNN纳入ADMM框架。这激发了作者未来的一项工作,将提出的ADMM框架与基于深度学习的去噪算法[64]、[65]集成。

作者提出的算法可用于其他快照(或多张照片)压缩成像系统,例如,深度压缩成像[66]、偏振压缩成像[67]、X射线压缩成像[68]、[69]、[70]和三维高速压缩成像[7]系统。这将是未来工作的另一个方向。