Abstract
在一个模型中考虑一个推理高维数据 $x$ 的问题， 其由先验 $p(x)$ 和给定一些条件 $y$ 对 $x$ 的辅助可微分的约束 $c(x, y)$。
在本文中，先验是一个独立训练的去噪扩散生成模型。
辅助约束预计将具有可微的形式，但可能来自不同的来源。
这种推断的可能性将扩散模型转化为即插即用模块，从而允许一系列潜在应用来使模型适应新的领域和任务，如条件生成或图像分割。
扩散模型的结构允许我们通过每一步包含不同噪声量的固定去噪网络迭代微分来进行近似推断。
在评估其适用性时考虑 $x$ 的许多噪声版本是一种新颖的搜索机制，它可能导致解决组合优化问题的新算法。
Introduction
在我们的主要问题设定中， 我们假设对于高维数据 $x$ 有一个先验 $p(x)$ , 我们希望在一个模型中执行推理， 其将该先验和一个给定额外条件信息 $y$ 的约束 $c(x, y)$ 包含在内。也就是说，我们想要找到一个后验分布的估计 $p(x \mid y) \approx p(x)c(x, y)$。 在这篇文章中，$p(x = x_0l, h={x_T, …, x_1})$ 以独立训练的 DDPM 模型提供， 使得 DDPM 成为一个即插即用的先验。
尽管最近社区对 DDPMs 的兴趣促进了训练算法和快速生成策略的进展， 它们用于即插即用模块的可能性还有被探索。此外， 与现有的即插即用模型相反， 我们提出的算法不需要额外的训练或者。
即插即用先验的一个明显应用是条件图像生成。 例如，在MNIST数字图像上训练的去噪扩散模型可能会定义 $p(x)$ ，而约束 $c(x，y)$ 可能是现成分类器下数字类 $y$ 的概率。然而，改变 $x$ 的语义，我们也可以将此类模型用于神经网络与域适应的推理任务，例如图像分割： $c(x，y)$ 约束分割 $x$ 以匹配外观或弱标记 $y$。最后，我们描述了使用DDPM先验来解决组合搜索问题的连续松弛的路径，方法是将 $y$ 视为具有确定性编码在 $x$ 中的组合结构的隐变量
-
Previous
【深度学习】Denoising Diffusion Models for Plug-and-Play Image Restoration -
Next
【深度学习】Progressive Distillation for Fast Sampling of Diffusion Models
