MrD's Blog

我干了什么究竟拿了时间换了什么

【深度学习】MIMO-UNet：Rethinking Coarse-to-Fine Approach in Single Image Deblurring

Abstract 从粗到细的策略被广泛应用于单幅图像去模糊网络的架构设计中。传统的方法通常是将多尺度输入图像叠加在子网络中，从下到上逐步提高图像的锐度，这必然带来较高的计算成本。为了实现快速准确的去模糊网络设计，这篇文章重新审视了粗到细的策略，并提出了一个多输入多输出的U-net (MIMO-UNet)。 MIMO-UNet 有三个明显特征: 首先，MIMO-UNet的单...

Posted by ShawnD on July 30, 2022

【深度学习】HINet: Half Instance Normalization Network for Image Restoration

Abstract 这篇文章探讨了 Instance Normalization 在低级视觉任务中的作用。具体地说，这篇文章提出了一种新的块: Half Instance Normalization Block(HIN Block)，以提高图像恢复网络的性能。在HIN Block的基础上，作者设计了一个简单而强大的多级网络HINet，它由两个子网络组成。在HIN Block的帮助下...

Posted by ShawnD on July 30, 2022

【深度学习】MPRNet：Multi-Stage Progressive Image Restoration

Abstract 图像恢复任务要求在恢复图像时在空间细节和 high-level 的 contextualized 信息之间取得复杂的平衡。这篇文章提出了一种新的 synergistic 设计，可以最优地平衡这些竞争目标。这篇文章主要提议是一个多阶段的架构，逐步学习退化输入的恢复函数，从而将整个恢复过程分解为更易于管理的步骤。具体地说，模型首先学习使用编码器-解码器架构的 co...

Posted by ShawnD on July 28, 2022

【深度学习】MIRNetv2：Learning Enriched Features for Fast Image Restoration and Enhancement

Abstract 给定退化的输入图像，图像恢复旨在恢复丢失的高质量图像内容。大量的应用需要有效的图像恢复，如计算摄影、监视、自动驾驶汽车和遥感。近年来，以卷积神经网络(convolutional neural networks, CNNs)为代表的图像恢复技术取得了长足的进步。广泛使用的基于cnn的方法通常在全分辨率或逐步低分辨率表示上操作。在前一种情况下，空间细节被保留，但...

Posted by ShawnD on July 28, 2022

【深度学习】GAP-CCoT：Snapshot spectral compressive imaging reconstruction using convolution and contextual Transformer

Abstract 光谱压缩成像(Spectral compression imaging, SCI)是将高维的高光谱图像编码为二维的快照 measurement，然后利用算法重建空间-光谱数据立方。这篇文章提出了一种混合网络模块，即convolution 和 contextual Transformer(CCoT)，它可以同时获得卷积的 inductive bias 能力和 Trans...

Posted by ShawnD on July 26, 2022

【深度学习】Unfolding Taylor’s Approximations for Image Restoration

Abstract 深度学习为图像恢复提供了一种新的途径，在恢复潜在清晰图像时，需要在细粒度细节和高级上下文化信息之间取得微妙的平衡。但在实践中，现有方法在构建封装的端到端映射网络时，没有深入挖掘其合理性，忽视了恢复任务固有的先验知识。为了解决上述问题，这篇文章在泰勒近似的启发下，展开泰勒公式来构建一个新的图像恢复框架。泰勒逼近的主体部分和导数部分分别与图像恢复的高级背景信息和空...

Posted by ShawnD on July 22, 2022

【深度学习】FuncNet：Functional Neural Networks for Parametric Image Restoration Problems

Abstract 几乎每一个图像恢复问题都有一个密切相关的参数，如超分辨率的尺度因子、图像去噪的噪声水平和JPEG deblocking的质量因子。虽然由于深度神经网络的发展，近年来关于图像恢复问题的研究取得了很大的成功，但它们对所涉及的参数的处理方式并不复杂。以往的研究大多将具有不同参数层的问题视为独立的任务，并针对每个参数层训练特定的模型;或者直接忽略参数，并针对所有参数级别训练...

Posted by ShawnD on July 22, 2022

【深度学习】Focal Frequency Loss for Image Reconstruction and Synthesis

Abstract 由于生成模型的发展，图像重建和合成取得了显著的进展。然而，真实图像和生成的图像之间仍然存在差距，尤其是在频域。这项研究表明，在频域缩小差距可以改善图像重建和合成质量进一步。这篇文章提出了一种新的 focal frequency loss，它允许模型通过降低容易合成的频率分量来自适应聚焦于难以合成的频率分量。该目标函数是现有空间损失的补充，提供了很大的 im...

Posted by ShawnD on July 22, 2022

【深度学习】Tensor FISTA-Net for Real-Time Snapshot Compressive Imaging

Abstract 快照压缩成像(SCI)相机通过将多个视频帧压缩成一个 measurement 帧来捕捉高速视频。然而，从压缩的 measurement 帧重建视频帧是一个挑战。现有的最先进的重建算法存在重建质量低或耗时长等问题，不适合实时应用。这篇文章利用深度神经网络(DNN)强大的学习能力，提出了一种新的张量快速迭代收缩阈值算法网络(Tensor FISTA-Net)作为SC...

Posted by ShawnD on July 20, 2022

【深度学习】ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

Abstract 为了开发一种快速而精确的自然图像压缩感知(CS)重建算法，这篇文章结合了现有两类压缩感知方法的优点: 传统基于优化的方法在结构上的深刻见解和近年来基于网络的方法的速度。具体地说，这篇文章提出了一种新的结构化深度网络，称为ISTA- net，它的灵感来自于迭代收缩阈值算法(ISTA)，用于优化一般的1范数CS重建模型。为了将ISTA塑造成深度网络形式，这篇文章开发了一...

Posted by ShawnD on July 20, 2022