【深度学习】Robust Compressed Sensing MRI with Deep Generative Priors

Posted by ShawnD on January 4, 2023

Abstract

CSGM框架(Bora-Jalal-Price-Dimakis’17)表明,深度生成先验可以成为解决逆问题的强大工具。

然而,到目前为止,该框架仅在某些数据集(例如人脸和MNIST数字)上取得了实验成功,众所周知,它在分布外样本上表现不佳。

本文介绍了 CSGM 框架首次成功应用于临床MRI数据。

作者从 fastMRI 数据集中训练了大脑扫描的生成先验,并表明通过郎之万采样进行后验采样可以实现高质量的重建。

此外,我们的实验和理论表明,后验采样对真实分布和观测过程的变化是可靠的。

Introduction

压缩感知减少了在各种成像逆问题中成功重建所需的观测次数。特别是,它缩短了磁共振成像(MRI)的扫描时间,大多数 MRI 供应商都发布了利用该框架加速临床工作流程的产品。尽管取得了成功,但基于稀疏的方法受到可实现的加速度的限制,因为稀疏假设要么是手工制作的,要么仅限于简单学习的稀疏编码。

最近,深度学习技术被用作逆问题的强大数据驱动重建方法。深度学习求解逆问题的技术有两大家族:端到端监督和分布学习方法。端到端监督技术使用一组观测图像,并部署卷积神经网络(CNN)和其他架构来学习从观测到图像的逆映射。包括CNN块和成像前向模型的网络架构越来越受欢迎,因为它们将深度学习与压缩感知优化框架相结合。 端到端方法对特定成像解剖学和观测模型进行了训练,并在这些任务中表现出优异的性能。然而,众所周知,当应用于分布外的数据时,重建质量会受到影响,最近在某些类型的自然观测和解剖扰动下,重建质量会严重退化。

本文研究了基于分布学习的深度学习求解逆问题的技术。 这些模型是在不参考观测的情况下经过训练的,因此很容易拟合观测过程的变化。最常见的此类技术家族,也称为带有生成模型的压缩感知(CSGM),使用预训练的生成模型作为先验。生成模型在表示图像统计学方面非常强大,CSGM已成功应用于许多逆问题,包括非线性相位检索,并通过可逆模型、稀疏偏差、图像适应性和后验采样进行了改进。这些方法直到最近才应用于MRI,尚未证明与有监督的端到端方法具有竞争力。

System Model and Algorithm

Multi-coil Magnetic Resonance Imaging

MRI是一种医学成像方式,使用放置在身体周围的一系列射频线圈进行测量。每个线圈在空间上对局部区域敏感,测量结果直接在空间频率或k空间域中获取。为了减少扫描时间,降低运营成本,并提高患者舒适度,在临床使用需要减少k空间观测次数, 通过结合对空间灵敏度图的显式或隐性知识。形式上,通过第 $i$ 个线圈获得的观测向量 $y_i \in C^L$ 可以通过正向模型来表示:

\[y_i = PFS_i x^* + w_i, i = 1,..., N_c\]

其中 $x^* \in C^N$ 是包含 $N$ 个像素的图像, $S_i$ 是第 $i$ 个敏感度图的

Theoretical Results