MrD's Blog

我干了什么究竟拿了时间换了什么

【深度学习】TSA-Net：End-to-End Low Cost Compressive Spectral Imaging with Spatial-Spectral Self-Attention

Abstract 编码孔径快照光谱成像(CASSI)是一种获取真实世界三维高光谱图像的有效工具。虽然已经有一些硬件和算法设计的工作，但这篇文章向低成本的解决方案迈出了一步，享受视频速率高质量的重建。为了在这一挑战和 under-investigated 的任务上取得坚实的进展，这篇文章重建了一个稳定的 single disperser (SD) CASSI 系统来收集大规模的真实 C...

Posted by ShawnD on June 23, 2022

【深度学习】PnP-DIP-HSI：Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging

Abstract 这篇文章考虑使用未经训练的神经网络来解决快照压缩成像(SCI)的重建问题， SCI使用一个二维(2D) detector 以压缩的方式捕获一个高维(通常是3D)数据立方体。近年来建立了各种SCI系统来捕获高速视频、高光谱图像等数据，并通过深度神经网络获得最先进的重建。然而，这些网络大多采用端到端方式，由大量数据进行训练，使用模拟的 ground truth-mea...

Posted by ShawnD on June 23, 2022

Abstract 在编码孔径快照光谱成像(CASSI)系统中，可以从捕获的压缩图像重构出真实世界的高光谱图像。基于模型的HSI重构方法采用手工构建的先验来解决重构问题，但由于手工构建的先验表示能力较差，大多数方法的成功程度有限。基于深度学习的方法直接学习压缩图像和 HSI 之间的映射，取得了更好的效果。然而，为了获得满意的结果，设计一个强大的深度网络启发式算法是非常重要的。 ...

Posted by MrD's Blog on August 7, 2024

【深度学习】CST：Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction

Abstract 为了解决编码孔径快照光谱成像(CASSI)的反问题，即从二维 compressed measurement 中重构三维高光谱图像(HSIs)，已经开发了许多算法。近年来，基于学习的方法表现出了良好的性能，并主导了主流研究方向。然而，现有的基于 CNN 的方法在捕获远程依赖和非局部自相似性方面存在局限性。以前基于 Transformer 的方法密集采样 toke...

Posted by ShawnD on June 23, 2022

【深度学习】DAUHST: Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging

Abstract 在编码孔径快照光谱压缩成像(CASSI)系统中，采用高光谱图像重建(HSI)方法从 compressed measurement 数据中恢复空间光谱信号。在这些算法中，deep unfolding 方法表现出良好的性能，但存在两个问题。首先，它们没有从高度相关的CASSI 中估计退化模式和病态程度来指导迭代学习。其次，它们主要使用基于 CNN 的方法，在捕获...

Posted by ShawnD on June 22, 2022

【深度学习】MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction

Abstract 现有的光谱重建方法主要集中在设计更深或更宽的卷积神经网络(CNNs)来学习从RGB图像到其高光谱图像(HSI)的端到端映射。这些基于CNN的方法实现了令人印象深刻的恢复性能，同时显示在捕获远程依赖和自相似性之前的局限性。为了解决这一问题，这篇文章提出了一种新的基于 Transformer 的方法，Multi-stage Spectral-wise Transfo...

Posted by ShawnD on June 19, 2022

【深度学习】Learning Tensor Low-Rank Prior for Hyperspectral Image Reconstruction

Abstract 为了获取动态场景的光谱信息，提出了一种基于快照的高光谱成像技术。这篇文章提出了一种深度神经网络，通过学习高光谱图像在特征域的低秩先验张量来提高重建质量。该方法受 canonical-polyadic (CP) 分解理论的启发，其中一个低秩张量可以表示为几个秩为1的10分量的加权和。具体来说，首先通过两个步骤学习图像特征的低秩张量先验:(a)生成具有区别分量的秩1...

Posted by ShawnD on June 18, 2022

【深度学习】Adaptive Nonlocal Sparse Representation for Dual-Camera Compressive Hyperspectral Imaging

Abstract 利用压缩感知(CS)理论，编码孔径快照光谱成像(CASSI)提供了一种从二维观测中恢复三维高光谱数据的有效解决方案。 CASSI的双摄像头设计，通过添加未编码的全色观测，增强了重建保真度，同时保持快照的优势。为了提高双摄像头压缩高光谱成像(DCCHI)的性能，这篇文章提出了一种自适应非局部稀疏表示(ANSR)模型。具体而言，将CS重构问题表述为基于三维立方体的稀...

Posted by ShawnD on June 16, 2022

【深度学习】High-Speed Hyperspectral Video Acquisition By Combining Nyquist and Compressive Sampling

Abstract 这篇文章提出了一种新的混合成像系统，以获得高空间和光谱分辨率的4D高速高光谱(HSHS)视频。该系统由两个分支组成:一个分支在时间维度上进行奈奎斯特采样，同时集成整个频谱，得到高帧率的全色视频;另一个分支在长曝光的光谱维度上进行压缩采样，从而产生低帧率的高光谱视频。由于高光吞吐量和互补采样，这两个分支共同为恢复底层HSHS视频提供了可靠的观测。此外，全色视频可...

Posted by ShawnD on June 15, 2022

【深度学习】Hyperspectral Image Reconstruction Using a Deep Spatial-Spectral Prior

Abstract 正则化是稳健地解决病态优化问题的基本技术，是高光谱压缩图像重构的关键。传统的正则化方法采用了多种手工制作的先验算法，但往往无法处理光谱种类繁多的自然高光谱图像，导致重建质量较差。此外，先验正则化优化需要人工调整其权重参数，以达到结果图像的空间保真度和光谱保真度之间的平衡。这篇文章提出了一种新的高光谱图像重建算法，以基于优化网络的数据驱动先验代替传统的手工先验。 ...

Posted by ShawnD on June 14, 2022