Abstract

传统的高速光谱成像系统造价昂贵，通常需要消耗大量内存和带宽来保存和传输高维数据。

相比之下，快照压缩成像(SCI)，多个连续帧被不同的 mask 编码，然后汇总为一个单一的 measurement，使用二维相机捕获三维场景, 是一个很有前途的想法。

这篇文章考虑了 SCI 中的重构问题，从压缩 measurement 中恢复一系列场景。

具体地说， measurement 和调制 mask 被送入所提出的网络，加上双向循环神经网络和对抗训练来重构想要的帧。

BIRNAT利用带有残差块和自注意力的深度卷积神经网络重建第一帧，在此基础上利用双向循环神经网络依次重建随后的帧。

此外，针对彩色视频的联合重建和去马赛克马赛克，构建了一个扩展的 BIRNAT-color 算法。

从三个 SCI 摄像机的视频和光谱、仿真和真实数据的大量结果表明，BIRNAT具有优越的性能。

Conclusion

这篇文章提出了一种用于快照压缩成像的循环重构框架，该框架由一个基于注意残差块的卷积神经网络和一个双向循环神经网络组成。

这篇文章提出的 BIRNAT 模型通过 AttRes-CNN 重构第一帧，然后通过双向 RNN 依次推断出接下来的帧。

由于强大的学习能力，BIRNAT在模拟和真实、灰度、颜色和光谱基准数据集方面实现了最先进的性能。

由于神经网络的效率，BIRNAT可以在不到一秒的时间内从 measurement 中恢复连续帧。

BIRNAT的高重构质量和快速推理时间将有助于端到端SCI系统在日常生活中的实际应用。

虽然BIRNAT取得了令人满意的结果，但在实际应用和当前研究之间仍有一些差距。

目前大多数研究主要集中在模拟数据上，利用 binary mask，是一种无噪声的理想状态，但对于真实的光学压缩成像系统，这些因素是不可避免的。

另一方面，压缩成像系统的灵活性和重构算法是很有前景的研究方向。

未来可能根据不同的场景自适应改变不同的成像参数(编码模板和压缩比)，通过灵活的算法不需要额外的训练就能恢复不同的场景。