Abstract
从部分观测重建医学图像是计算机断层扫描（CT）和磁共振成像（MRI）中的一个重要逆问题。
基于机器学习的现有解决方案通常训练一个模型，利用配对图像和观测的训练数据集，将观测结果直接映射到医学图像。
这些观测通常使用观测过程的固定物理模型从图像中合成，这阻碍了模型对未知观测过程的泛化能力。
为了解决这个问题，我们利用最近引入的基于分数的生成模型，提出了一种完全无监督的反向问题解决技术。
具体来说，我们首先在医学图像上训练一个基于分数的生成模型，以捕获其先验分布。
给定观测和测试时观测过程的物理模型，我们引入了一种采样方法来重建与之前和观察到的观测一致的图像。
我们的方法在训练期间不假设固定的观测过程，因此可以在测试时灵活地适应不同的观测过程。
从经验上讲，我们在 CT 和 MRI 的几项医学成像任务中观察到与监督学习技术具有可比或更好的性能，同时对未知观测过程的泛化要好得多。
Introduction
计算机断层扫描（CT）和磁共振成像（MRI）是医学诊断常用的成像工具。从原始观测（CT的 sinogram 和 MRI 的 k-spaces）重建 CT 和 MRI 图像是众所周知的逆问题。具体来说，CT中的观测是通过从不同方向对物体的X射线投影给出的，MRI中的观测是通过检查具有磁场的物体的傅里叶光谱获得的。然而，由于获得CT的完整 sinogram 会导致患者过度电离辐射，并且测量 MRI 的整个 k-space 非常耗时，因此减少 CT 和 MRI 中的观测次数变得很重要。在许多情况下，只能提供部分观测，例如稀疏视图 sinograms 和下采样 k-spaces。由于这种信息丢失，CT 和 MRI 的逆问题往往是病态的，这使得图像重建特别具有挑战性。
随着机器学习的兴起，提出了许多使用少量观测进行医学图像重建的方法。这些方法大多是监督学习技术。他们通过训练由一对 CT/MRI 图像和观测组成的大型数据集，学习将部分观测直接映射到医学图像。这些观测需要从医学图像中合成，并具有观测过程的固定物理模型。然而，当观测过程发生变化时，例如使用不同数量的 CT 投影或 MRI k-spaces 的不同下采样比例时，我们必须重新收集与新观测过程的配对数据集，并重新训练模型。这阻止了模型有效地泛化到新的观测过程，导致 counter-intuitive 的不稳定性，例如更多的测量导致性能下降（Antun等人，2020年）。
在这项工作中，我们通过提出不需要配对数据集进行训练的无监督方法，从而完全回避了这一困难，因此不限于固定的观测过程。我们的主要想法是使用生成模型学习医学图像的先验分布，以推断部分观测导致的信息丢失。具体而言，由于其在图像生成方面的强劲性能，我们建议将基于分数的生成模型作为数据先验。给定一个训练好的基于分数的生成模型，我们提供一系列采样算法，以利用物理观测过程创建与之前观察到的观测和估计数据一致的图像样本。一旦我们的模型经过训练，它就可以用于解决同一图像域中的任何逆问题，只要从图像到观测的映射是线性的，这适用于大量的医学成像应用。
我们评估了我们方法在 CT 和 MRI 中几项任务中的性能。从经验上讲，与有监督的学习相比，我们观察到可比或更好的表现，即使他们在训练中使用相同的观测过程进行评估。此外，在更改观测次数时，我们能够均匀地超过所有基线，例如在稀疏视图CT中使用不同数量的投影，或在采样不足的MRI中更改 k-space 下采样率。此外，我们表明，通过插入不同的观测过程，我们可以使用单个模型进行稀疏视图CT重建和 artifact 去除，以进行 metallic implants 的CT成像。据我们所知，这是首次在临床CT数据上报告生成模型成功。总的来说，这些实证结果表明，我们的方法是医学图像重建和 artifact 去除监督技术的竞争性替代品，并有可能成为解决同一图像领域内许多逆问题的通用工具。
Sovling Inverse Problems in Medical Imaging with Score-Based Generative Models
-
Previous
【深度学习】Robust Compressed Sensing MRI with Deep Generative Priors -
Next
【深度学习】Understanding Diffusion Models: A Unified Perspective
