Abstract

图像恢复中的许多有趣的任务可以转换为线性逆问题。

最近一系列解决这些问题的方法使用随机算法，根据观测结果从自然图像的后验部分布进行采样。

然而，有效的解决方案通常需要特定问题的监督训练来模拟后验，而非特定问题的无监督方法通常依赖于低效的迭代方法。

这项工作通过引入去噪扩散恢复模型（DDRM）来解决这些问题，DDRM是一种高效的、无监督的后验采样方法。

受启发于变分推断，DDRM利用预训练的去噪扩散生成模型来解决线性逆问题。

我们在几个图像数据集上演示了DDRM的多功能性，以便在各种观测噪声下进行超分辨率、去模糊、绘画和着色。

DDRM在重建质量、感知质量和运行时间方面优于不同ImageNet数据集上目前领先的无监督方法，比最近的竞争对手快5倍。

DDRM还很好地泛化到ImageNet训练集分布之外的自然图像。

Introduction

图像处理中的许多问题，包括超分辨率、去模糊、绘画、着色和压缩感知，都是线性逆问题的例子，其目标是从通过已知线性退化模型给出的潜在噪声观测中恢复图像。对于特定的退化模型，可以使用一对原始和退化的图像，通过端到端监督神经网络训练来解决图像恢复问题。然而，医学成像等现实世界的应用通常需要灵活性来应对多个可能无限的退化模型。在这里，无监督方法可能更可取，其退化模型仅在推断期间已知和使用，因为它们无需再重新训练即可适应给定问题。

在这种无监督的环境中，基于深度神经网络的先验在各种图像恢复任务中展示了令人印象深刻的实证结果。为了恢复信号，大多数现有方法从神经网络获得信号上的先验相关项(例如自然图像的分布)，并从退化模型中获得似然项。它们结合了这两个项，在信号上形成后验，逆问题可以被提出为解决优化问题或解决采样问题。然后，这些问题通常通过迭代方法得到解决，例如梯度下降或 Langevin dynamics，这些方法在计算上可能要求很高，并且对超参数调优也很敏感。Laumont等人（2021年）中发现了一个极端的例子，其中该算法的“快速”版本使用15000个神经函数评估（NFE）。

受这一无监督工作的启发，作者引入了一种名为去噪扩散恢复模型（DDRM）的有效方法，可以在低至20个NFE中实现竞争结果。DDRM是一个去噪扩散生成模型，它以观测和逆问题为条件，逐渐随机地将样本去噪为所需的输出。通过这种方式，作者引入了一个变分推理目标，用于学习逆问题的后验分布。然后，我们展示了它与无条件去噪扩散生成模型目标的等价性，这使作者能够在DDRM中为各种线性逆问题部署此类模型(如图2所示)。据作者所知，DDRM是第一个通用逆问题解决者，可以有效地为一般内容图像提供一系列高质量、多样化但有效的解决方案。

作者通过与各种竞争性无监督方法进行比较，如深度生成先验、SNIPS和去噪正则化，展示了DDRM的有效性。在 ImageNet 样本中，DDRM在PSNR和KID度量的无噪声超分辨率和去模糊下大多优于神经网络基线，当它位居第二时，其NFE的效率至少高出50倍。当涉及观测噪声时，DDRM的优势会变得更大，因为迭代方法产生的噪声瑕疵不会出现在该情况下。

Denoising Diffusion Restoration Models

基于后验采样的逆问题求解器经常面临两难境地：无监督方法适用于一般问题，但效率低下，而监督方法有效，但只能解决特定问题。

为了解决这一困境，作者引入了去噪扩散恢复模型（DDRM），这是一种一般线性逆问题的无监督求解器，能够在观测中处理有噪声或无噪声的此类任务。

DDRM背后的关键想法是找到一个也适用于监督学习目标的无监督方法。首先，作者描述了DDRM在特定逆问题上的变分目标。接下来，作者介绍了适合线性逆问题的特定形式的DDRM，并允许直接使用预训练的无条件和类条件扩散模型。最后，作者讨论了实际算法的计算和内存效率。

【深度学习】DDRM：Denoising Diffusion Restoration Models

Abstract

Introduction

Denoising Diffusion Restoration Models

Variational Objective for DDRM

CATALOG

FEATURED TAGS

FRIENDS