成像逆问题是现代成像科学的核心,在医学成像、遥感和显微成像等领域有着广泛应用。近年来,成像逆问题的求解经历了一场范式转变:越来越多地采用数据驱动的正则化方法,从而实现了极高保真度的重建。其中一种尤为突出的数据驱动正则化方法是,在迭代图像重建算法中使用学习到的图像去噪器作为隐式先验。本综述系统梳理了这一类强大且新兴的算法,通常称为“即插即用(plug-and-play, PnP)”方法。我们首先简要介绍图像去噪和成像逆问题的背景,随后回顾传统正则化策略。接着,我们探讨了如何利用近端分裂算法(如交替方向乘子法 ADMM 和近端梯度下降 PGD),在近端算子的位置自然地引入学习型去噪器,以及在何种条件下这种替换能够保持收敛性。我们讨论了 Tweedie 公式在连接最优高斯去噪器与梯度估计中的作用,它为正则化-去噪(RED)方法以及近期基于扩散的后验采样方法奠定了理论基础。我们还回顾了 PnP 算法在 RED 和近端设定下的收敛性理论进展,特别强调去噪器必须满足的结构性假设(如非扩张性、Lipschitz 连续性和局部齐次性)。此外,我们也关注了算法设计中的实际考量,包括去噪器架构的选择和加速策略。通过融合经典优化理论洞见与现代学习型先验,本综述旨在提供一个统一且易于理解的框架,以帮助读者全面掌握 PnP 方法及其理论基础。

逆问题构成了成像科学、信号处理、计算物理等诸多应用领域的基石。在典型的不适定成像逆问题中,我们需要从其间接且常含噪的观测 y=Kx+wy = Kx + wy=Kx+w 中恢复未知的信号或图像 xxx,其中 KKK 表示刻画成像过程的前向算子,www 表示测量噪声。假定图像 xxx 及其观测 yyy 分别位于合适的赋范向量空间中。经典实例包括低层次计算机视觉任务(如图像去模糊、去噪、超分辨与修复),以及多种医学成像任务(包括 MRI、PET 与 CT 重建)。由于测量不完整或受损,逆问题在本质上是不适定的,需要通过正则化来保证解的稳定性与意义。

传统正则化方法(详见 [40, 84, 10])依赖显式先验模型,以编码图像的不同正则性假设,如 Tikhonov 正则化、全变分(TV),以及近年来更常见的稀疏化正则(通常在恰当的变换域对 ℓ1\ell_1ℓ1 范数加以惩罚)。这些经典方法在理论上根基扎实、计算上可行,但往往难以充分刻画自然图像丰富而高度结构化的统计特性,因而在具有挑战性的场景下会限制重建质量。

得益于 Venkatakrishnan 等人的开创性工作 [92],即插即用(plug-and-play, PnP)方法在过去十年中成为一种有效范式:它不再手工设计先验,而是将强大的图像去噪器直接“嵌入”到求解逆问题的迭代优化算法中(关于 PnP 的近期综述见 [56])。PnP 的关键洞见看似朴素却极为有力:与其指定显式先验,不如在交替方向乘子法(ADMM)或近端梯度下降(PGD)等迭代框架中“插入”现成的图像去噪器,通过反复去噪来对解进行有效正则化。这一思想催生了灵活的算法家族,其中以 PnP-ADMM [21] 与 PnP-PGD [81, 52] 最为突出并得到广泛研究。PnP 的一个显著优势是“模块化”:同一个去噪器可在不同前向算子下获得合理的重建。通过将前向模型与先验解耦,PnP 使实践者能够利用最先进的去噪器——无论是基于模型的方法(如 BM3D [29]),还是数据驱动的去噪器(例如基于深度卷积神经网络的去噪器 [100, 99])——而无需推导复杂的封闭形式先验或在变分框架中显式引入正则项。其“即插即用”的实用特性使该类方法在噪声统计、测量模型与图像特征高度多样的应用中尤为灵活而有吸引力。

与此并行,“正则化-通过去噪”(regularization by denoising, RED)方法 [77, 72] 提供了另一种颇具吸引力的框架:它利用现成的图像去噪器构造一类显式正则项。RED 将变分原理与基于去噪的算子统一起来,给出具有可解释性的定点迭代,并在合适条件下提供收敛性保证 [72]。其他重要的理论进展包括:在对去噪残差满足适当的利普希茨连续性假设下,为 PnP-PGD 与 PnP-ADMM 建立严格的收敛性保证(见 [81] 中的定理 1、定理 2 与推论 3);以及将 PnP 概念推广至更广泛的迭代框架,如共识平衡(consensus equilibrium)[17] 与分块坐标方法 [88]。PnP 框架与深度学习的协同进一步放大了其影响:学习型去噪器(如 DnCNN [100]、FFDNet [101],以及更近期的基于 Transformer [97] 或去噪扩散模型的去噪器 [102])可无缝集成进 PnP 方案,即便在严重不适定的设定下也能实现卓越的重建表现。除静态图像外,PnP 方法也正日益适配于动态与多模态成像任务 [95],可在保持“即插即用”哲学的同时纳入时间或跨模态约束。

近来,生成模型——特别是扩散概率模型——为求解逆问题开辟了新方向(综述见 [30],医学成像应用见 [27]),其中不少方法采用类似 PnP 的思路。这类模型提供了强有力的先验:可在条件于测量的情况下采样高质量图像,将生成式采样与 PnP 思想相融合,以更好地应对高维且复杂的逆问题,并改进不确定性量化。尽管经验上颇为成功,PnP 仍存在若干开放问题:包括当去噪器高度非线性或非扩张时的理论保证、能够在线自适应选择/学习去噪强度的方案设计,以及将框架推广以处理非高斯噪声、物理约束或多模态数据融合等。在本综述中,我们旨在全面、最新地介绍用于成像逆问题的 PnP 方法——回溯其历史发展,强调其理论基础,讨论算法设计与学习型去噪器的进展;同时讨论将去噪器与基于扩散的后验采样相结合的贝叶斯成像,并指出可能塑造 PnP 式逆问题求解未来的开放研究方向。我们特别关注在 PnP 成像领域被广泛视为先驱性的方法,以及具备严格收敛保证的方法。

成为VIP会员查看完整内容
1

相关内容

基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 5月29日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 1月24日
Segment Anything模型的高效变体:综述
专知会员服务
26+阅读 · 2024年10月11日
基础模型时代的图像分割研究综述
专知会员服务
26+阅读 · 2024年8月26日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
图嵌入模型综述
专知会员服务
92+阅读 · 2022年1月17日
基于流线的流场可视化绘制方法综述
专知会员服务
27+阅读 · 2021年12月9日
专知会员服务
96+阅读 · 2021年2月6日
专知会员服务
47+阅读 · 2020年11月13日
数据受限条件下的多模态处理技术综述
专知
20+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
从最大似然到EM算法:一致的理解方式
PaperWeekly
19+阅读 · 2018年3月19日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
171+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
482+阅读 · 2023年3月31日
Arxiv
79+阅读 · 2023年3月26日
Arxiv
174+阅读 · 2023年3月24日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 5月29日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 1月24日
Segment Anything模型的高效变体:综述
专知会员服务
26+阅读 · 2024年10月11日
基础模型时代的图像分割研究综述
专知会员服务
26+阅读 · 2024年8月26日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
图嵌入模型综述
专知会员服务
92+阅读 · 2022年1月17日
基于流线的流场可视化绘制方法综述
专知会员服务
27+阅读 · 2021年12月9日
专知会员服务
96+阅读 · 2021年2月6日
专知会员服务
47+阅读 · 2020年11月13日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员