MrD's Blog

我干了什么究竟拿了时间换了什么

【深度学习】GAP-Net: GAP-net for Snapshot Compressive Imaging

Abstract Snapshot compressive imaging(SCI)系统旨在利用2D detectors 在单次拍摄中捕捉高维(3D)图像。 SCI设备包括两个主要部分:硬件编码器和软件解码器。硬件编码器通常包括一个(光学)成像系统，旨在捕捉 compressed measurements。另一方面，软件解码器指的是一种重建算法，从这些 measurement 中...

Posted by ShawnD on July 20, 2022

【深度学习】COAST：COntrollable Arbitrary-Sampling NeTwork for Compressive Sensing

Abstract 近年来，基于深度网络的压缩感知(CS)方法取得了很大的成功。但它们大多将不同的采样矩阵视为不同的独立任务，需要为每个目标采样矩阵训练特定的模型。这种做法导致计算效率低下，泛化能力差。这篇文章提出了一种新的 Controllable Arbitrary-Sampling Network ，称为COAST，用于解决单模型任意采样矩阵(包括不可见采样矩阵)的CS问题...

Posted by ShawnD on July 18, 2022

【深度学习】DGUNet：Deep Generalized Unfolding Networks for Image Restoration

Abstract 深度神经网络(DNN)在图像恢复方面取得了巨大的成功。然而，大多数DNN方法被设计成一个黑盒，缺乏透明性和可解释性。尽管有人提出一些方法将传统优化算法与DNN相结合，但它们通常需要预先定义退化过程或手工制作的假设，使其难以处理复杂和真实的应用。这篇文章提出了一种用于图像复原的深度泛化展开网络(DGUNet)。具体地说，在不损失可解释性的情况下，将梯度估计策...

Posted by ShawnD on July 17, 2022

【深度学习】Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

Abstract 近年来，深度卷积网络一直是图像识别性能最大进步的核心。一个例子是Inception体系结构，它已经被证明可以以相对较低的计算成本获得非常好的性能。最近，在2015年的ILSVRC挑战中，残差连接与更传统的结构相结合，产生了最先进的性能; 它的性能类似于最新一代的Inception-v3网络。这就提出了这样一个问题:将Inception体系结构与残差连接结合是否有...

Posted by ShawnD on July 15, 2022

【深度学习】BIRNAT: Bidirectional Recurrent Neural Networks with Adversarial Training for Video Snapshot Compressive Imaging

Abstract 由于生成模型的发展，图像重建和合成取得了显著的进展。然而，真实图像和生成的图像之间仍然存在差距，尤其是在频域。这项研究表明，在频域缩小差距可以改善图像重建和合成质量进一步。这篇文章提出了一种新的 focal frequency loss，它允许模型通过降低容易合成的频率分量来自适应聚焦于难以合成的频率分量。该目标函数是现有空间损失的补充，提供了很大的 im...

Posted by ShawnD on July 15, 2022

【深度学习】Diffusion Models Made Easy

Introduction 最近，GANs和VAEs这两个重要的生成模型已经获得了很多成功和认可。GANs在多个应用程序中都能很好地工作，然而，它们很难训练，由于一些挑战，比如模式坍塌和梯度消失，它们的输出缺乏多样性。然而，虽然 VAEs 具有坚实的理论基础，但是建立一个良好的损失函数模型是 VAEs 系统的一个挑战。还有一组技术从物理现象中获得灵感，其基于概率似然估计方法, 叫做扩散...

Posted by ShawnD on July 14, 2022

【深度学习】Quantization-aware Deep Optics for Diffractive Snapshot Hyperspectral Imaging

Abstract 基于深度光学框架的衍射快照高光谱成像一直致力于捕捉动态场景的光谱图像。然而，现有的深度光学框架由于衍射光学元件(DOE)制作过程中的量化操作，都存在光学硬件与重构算法不匹配的问题，导致高光谱成像在实际应用中性能有限。这篇文章提出了一种用于衍射快照高光谱成像的量化感知深度光学技术。在制造中使用的常见光刻技术需要量化 DOE 高度图到几个级别，并可以自由设置每个级...

Posted by ShawnD on July 12, 2022

【深度学习】HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling Deep Network for Snapshot Compressive Imaging

Abstract 高光谱成像是广泛应用中必不可少的成像模式，特别是在遥感、农业和医学领域。现有的高光谱相机速度慢、价格贵、体积大，受此启发，从低预算的快照测量中重建高光谱图像(HSIs)引起了广泛关注。通过将 truncated numerical optimization 算法映射到具有固定阶段的网络中，最近用于光谱快照压缩传感（SCI）的深度展开网络（DUN）取得了显著的成功。...

Posted by ShawnD on July 12, 2022

【深度学习】Twins: Revisiting the Design of Spatial Attention in Vision Transformers

Abstract 最近，人们提出了用于密集预测任务的各种视觉 Transformer 架构，它们表明空间注意力的设计对这些任务的成功至关重要。这项工作重新审视了空间注意力的设计，并证明了一个精心设计但简单的空间注意力机制优于最先进的方案。因此，这篇文章提出了两种视觉 Transformer 架构，即 twins-pcpvt和 twins- svt。提出的架构高效且易于实现，只涉及...

Posted by ShawnD on July 11, 2022

【深度学习】NAFNet：Simple Baselines for Image Restoration

Abstract 尽管近年来图像恢复领域取得了长足的进步，但目前最先进的SOTA方法的系统复杂性也在不断增加，这可能会阻碍方法的方便分析和比较。这篇文章提出了一个简单的基线，它超过了SOTA方法，并在计算上是有效的。为了进一步简化基线，这篇文章揭示了非线性激活函数，如Sigmoid, ReLU, GELU, Softmax等是不必要的:它们可以用乘法或删除来替代。因此，从基线推...

Posted by ShawnD on July 11, 2022