【深度学习】ICVL:Sparse Recovery of Hyperspectral Signal from Natural RGB Images

Posted by ShawnD on November 29, 2022

Abstract

高光谱成像是一种重要的视觉模式,具有越来越大的兴趣和应用范围。

然而,后者源于这样一个事实,即现有设备在空间、光谱和/或时间分辨率方面都有限,同时既复杂又昂贵。

作者提出了一种低成本和快速的方法,可以直接从RGB中恢复高质量高光谱图像。

该方法首先利用高光谱先验,以便创建一个稀疏的高光谱签名及其相应的RGB投影词典。

然后,通过后者描述新的RGB图像有助于通过前者重建高光谱图像。

一个新的、比以往更大的高光谱图像数据库作为高光谱先验。

该数据库进一步允许以前所未有的规模评估其方法,并提供给研究界。

该方法快速、准确,尽管使用仅限RGB的输入,但仍提供高分辨率高光谱立方体。

Implications and Summary

从刚刚介绍的方法和结果中可以明显看出,RGB 样本及其相应的重建光谱几乎总是由3个字典原子很好地表达。当涉及到RGB样本本身时,这似乎是意料之中的。但为什么这对高光谱特征如此有效,这可能是一个更大的惊喜。这在很大程度上是实证性的发现实际上可以解释之前工作之间关于自然图像光谱有效维度的分歧(参见第4节),因为可以得出结论,这个光谱空间的维度在很大程度上取决于基础选择。虽然RGB光谱映射的稳定性可能取决于训练和测试图像(实际上是自然本身)中 metamers 的 low abundance,但实验结果表明,它在可变的户外照明条件和场景中是鲁棒的。显然,metamers 问题值得更深入地研究,这超出了这篇文章的范围,并且是过去和未来广泛研究的一部分。

总之,作者提出了一种从仅RGB信号重建高分辨率高光谱图像的计算方法。该方法基于收集高光谱先验(一般或特定领域),以构建稀疏高光谱词典,其投影到RGB中提供了RGB原子与高光谱原子之间的映射。将任意RGB信号描述为RGB原子的组合,然后通过在相应的高光谱原子上应用相同的组合来促进高光谱源的重建。