Abstract
这篇文章提出了一种新的混合成像系统，以获得高空间和光谱分辨率的4D高速高光谱(HSHS)视频。
该系统由两个分支组成:一个分支在时间维度上进行奈奎斯特采样，同时集成整个频谱，得到高帧率的全色视频;另一个分支在长曝光的光谱维度上进行压缩采样，从而产生低帧率的高光谱视频。
由于高光吞吐量和互补采样，这两个分支共同为恢复底层HSHS视频提供了可靠的观测。
此外，全色视频可以用来学习一个 over-complete 的3D字典，以稀疏地表示每个波段视频，这得益于光谱维的固有结构相似性。
在联合观测和自适应字典的基础上，进一步提出了一种 simultaneous spectral sparse(3S) 模型来增强不同波段的结构相似性，并开发了一种高效的计算重建算法来恢复HSHS视频。
仿真和硬件实验验证了该方法的有效性。
据我们所知，这是第一次在普通室内照明下，利用普通光学元件获得帧率高达100fps的高光谱视频。
Conclusion and Discussion
这篇文章提出了一种新的混合成像系统，并开发了一种高效的计算重建算法，以完成具有挑战性的HSHS视频采集任务。结合奈奎斯特和压缩采样的系统具有高的光吞吐量，这对捕获HSHS视频至关重要，而结合3S模型的重构算法利用了高光谱信号所有四个维度的相关性。仿真和实验结果验证了该方法的优越性。
对于以解析高维光信号为目标的计算成像，根据硬件数量的解决方案可分为三类： single camera, camera array 和 hybrid imaging (typically two cameras)。尽管光学结构简单，单摄像头解决方案只能提供有限的测量，很少足以精确重建高维信号。多帧曝光是提高精度的直接扩展，例如，多帧 CASSI 提高了单帧 CASSI 的精度，但以牺牲时间分辨率为代价。通过使用多个相同的摄像机，摄像机阵列解决方案可以同时提供大量的观测。然而，这些观测通常在相同的维度取样，在本质上是同质的。此外，这种系统通常体积庞大，校准复杂。与上述两种解决方案相比，混合成像提供了一种优雅的权衡。通过两个不均匀的分支，它可以提供在不同维度上采样的互补观测。此外，该系统结构紧凑，易于校准。
在混合成像方面，有两种采样方法，即奈奎斯特采样和压缩采样。以往的混合成像系统通常对高维信号进行不同维度的奈奎斯特采样。HVIS 喜欢光谱分辨率在一个分支， 空间分辨率在另一个分支。虽然得到的观测结果是互补的，而且重构算法通常很简单，但这种采样不能充分利用高维信号中的相关性，可能会导致光吞吐量的浪费。相反，如果在混合成像系统的一个分支中采用压缩采样，而另一个分支仍然进行奈奎斯特采样，得到的观测结果不仅是互补的，而且还提供了进一步利用高维信号中的相关性进行恢复的机会。
目前的系统还存在一些局限性，将在今后的工作中加以解决。也就是说，如果奈奎斯特分支的空间分辨率高于压缩分支，系统确实有能力获得更高的空间分辨率输出。在考虑空间超分辨率的情况下，与现有框架的唯一区别是在 CASSI 的系统前向模型中增加了一个额外的下采样操作。然后，空间超分辨率的相关优化就自然而然地嵌入到当前的数学推导中。此外，该系统的空间超分辨率与之前的混合相机空间超分辨率和多尺度十亿像素成像相似。这些作品展示了在多相机系统中空间超分辨率和 image wrapping 的优雅解决方案。
综上所述，全色视频可以在空间和时间维度上提高高光谱视频的分辨率。目前，这篇文章主要研究的是时间维度上的分辨率提升，具有高速的特点。希望利用空间维度分辨率的提高作为未来的工作。
-
Previous
【深度学习】Hyperspectral Image Reconstruction Using a Deep Spatial-Spectral Prior -
Next
【深度学习】Adaptive Nonlocal Sparse Representation for Dual-Camera Compressive Hyperspectral Imaging
