在现代成像科学中，逆问题处于核心地位，广泛应用于医学成像、遥感和显微成像等领域。近年来，解决成像逆问题的范式发生了显著转变，即越来越多地采用数据驱动的正则化方法，从而实现了高保真度的重建。一个尤为突出的数据驱动正则化方法是利用学习得到的图像去噪器作为隐式先验，嵌入到迭代式图像重建算法中。本文对这一强大且新兴的算法类别进行了全面综述，该类方法通常被称为Plug-and-Play（PnP）方法。我们首先简要介绍图像去噪与成像逆问题的背景，随后回顾传统的正则化策略。接着，我们探讨了如何通过近端分裂类算法（如交替方向乘子法 ADMM 和近端梯度下降 PGD）自然而然地将学习型去噪器替代近端算子，并分析在何种条件下这种替代能够保持收敛性。我们还讨论了 Tweedie 公式在最优高斯去噪器与得分估计之间的联系，这为“基于去噪的正则化（RED）”以及近年来基于扩散的后验采样方法奠定了理论基础。本文进一步总结了 PnP 算法在 RED 框架和近端框架下的收敛性理论进展，强调了去噪器需要满足的结构性假设（如非扩张性、Lipschitz 连续性和局部齐次性）以保证收敛。与此同时，我们也关注了算法设计中的实际问题，包括去噪器架构的选择和加速策略。通过结合经典优化理论和现代学习先验，本文旨在为理解 PnP 方法及其理论基础提供一个统一且易于理解的框架。
1 引言
逆问题是成像科学、信号处理、计算物理等众多应用领域的基石。在一个典型的病态成像逆问题中，我们希望从间接且常常带噪声的观测y=Kx+w,y = Kx + w,y=Kx+w, 中恢复未知信号或图像 xxx，其中 KKK 表示成像过程的前向算子，www 表示测量噪声。假设图像 xxx 及其观测 yyy 分别位于合适的赋范向量空间中。典型的例子包括低层次计算机视觉任务，如图像去模糊、去噪、超分辨率和修复，以及各种医学成像任务，如 MRI、PET 和 CT 重建。由于观测的不完整或损坏，逆问题本质上是病态的，因此需要正则化以保证解的稳定性和可解释性。 传统的正则化方法（详见 [40, 84, 10]）依赖于显式先验模型的设计，这些模型对图像施加不同的正则性假设，例如 Tikhonov 正则化、全变差（TV），或近些年来的稀疏性正则化（通常在适当的变换域中惩罚 ℓ1\ell_1ℓ1-范数）。这些经典正则化方法虽然在理论上有坚实基础且计算上可行，但往往难以完全刻画自然图像丰富且高度结构化的特性，从而在复杂场景中限制了重建质量。 得益于 Venkatakrishnan 等人的开创性工作 [92]，在过去十年中，Plug-and-Play（PnP）方法 已成为一种有效范式，它突破了手工设计先验的限制，而是将强大的图像去噪器直接融入到求解逆问题的迭代优化算法中（参见 [56] 关于 PnP 方法的最新综述）。PnP 背后的关键洞见看似简单却极具力量：无需显式指定先验，而是在迭代框架（如交替方向乘子法 ADMM 或近端梯度下降 PGD）中直接“插入”一个现成的图像去噪器，通过反复的去噪操作来实现解的正则化。由此产生了一类灵活的算法，其中以 PnP-ADMM [21] 和 PnP-PGD [81, 52] 最为突出并被广泛研究。PnP 方法因其模块化特性而特别具有吸引力：相同的图像去噪器可在不同的前向算子下实现合理的重建。通过将前向模型与先验解耦，PnP 使得研究者能够直接利用最新的去噪器，无论是基于模型的（如 BM3D [29]）还是数据驱动的（如基于深度卷积神经网络 CNN 的去噪器 [100, 99]），而无需推导复杂的闭式先验或将显式正则化项嵌入变分框架。这种实用的“即插即用”特性，使得 PnP 方法在不同噪声统计特性、测量模型和图像特征广泛变化的场景下都极具灵活性。 与此同时，基于去噪的正则化（RED） 方法 [77, 72] 提供了另一种引人注目的框架：它通过现成的图像去噪器来构造一类显式正则化项。RED 将变分原理与去噪算子联系起来，提供了可解释的定点迭代，并在适当条件下具有收敛性保证 [72]。其他重要的理论进展包括：在满足去噪残差的 Lipschitz 连续性假设下，PnP-PGD 和 PnP-ADMM 的严格收敛性证明（见 [81] 中的定理 1、2 和推论 3）；以及将 PnP 概念推广到更广泛的迭代框架，如一致平衡（consensus equilibrium）[17] 和分块坐标方法 [88]。 PnP 框架与深度学习的结合进一步放大了其影响力。学习型去噪器，如 DnCNN [100]、FFDNet [101]，以及更近期的基于 Transformer [97] 或基于扩散去噪模型 [102]，都可以无缝嵌入到 PnP 框架中，即使在高度病态的问题设置下也能实现显著的重建性能。除了静态图像外，PnP 方法也在不断拓展至动态与多模态成像任务 [95]，此时可引入额外的时序或跨模态约束，但仍保持模块化的 PnP 哲学。 近来，生成模型（尤其是扩散概率模型）的兴起为解决逆问题开辟了新的方向（参见 [30] 的综述及 [27] 在医学成像中的应用），特别是结合 PnP 思路的方法。这类模型提供了强大的先验，能够在给定观测的条件下采样高质量图像，从而将生成式采样与 PnP 思路结合，用于处理复杂的高维逆问题，并改进不确定性量化。 尽管 PnP 方法在实践中取得了成功，但仍存在开放性挑战。关键问题包括：当去噪器高度非线性或不满足非扩张性时，如何理解其理论保证；如何设计自适应机制以动态选择或学习去噪强度；以及如何将该框架扩展到处理非高斯噪声、物理约束或多模态数据融合。在本文中，我们旨在全面、系统地介绍基于 PnP 的成像逆问题方法。我们回顾其历史发展，强调其理论基础，讨论算法设计与学习型去噪器的最新进展。同时，我们也探讨了 PnP 去噪器在贝叶斯成像中的应用，特别是与基于扩散的后验采样相结合的情形，并指出可能塑造 PnP 逆问题求解未来的发展方向。本文重点聚焦于该领域的开创性方法及具有严格收敛性保证的方法。
1.1 图像去噪简述
图像去噪长期以来一直是信号与图像处理的基本问题，推动了过去数十年中日益复杂的模型与算法的发展。关于图像去噪器的详细综述，可参见 [45, 39, 24]，其中涵盖了从经典技术到现代深度学习方法。在以下讨论中，我们假设图像 xxx 已离散化，因此可以表示为 Rn\mathbb{R}^nRn 中的一个向量（其中 nnn 为图像像素数）。在加性噪声模型下，去噪的目标是从观测z=x+wz = x + wz=x+w 中恢复未知的干净图像 x∈Rnx \in \mathbb{R}^nx∈Rn，其中 www 表示加性噪声。根据应用不同，www 可能服从高斯或非高斯分布，且可能是白噪声或有色噪声。主要挑战在于噪声会同时污染图像的低频和高频成分，使得区分噪声与图像细节变得困难。因此，设计有效的去噪算法需要在噪声抑制与图像边缘、纹理及小结构的保真性之间取得平衡。 一个设计良好（尽管不一定完美）的去噪器的重要特性是，它能够自然地生成图像的多尺度分解 [66]，同时允许精确重建。这一思想与经典的多尺度分解（如拉普拉斯金字塔 [16]）类似，但这里是通过去噪器的作用实现的。 最早、最直观的一类去噪方法基于线性滤波（在空间域或频率域）[44, Ch.3, 4]。例如，高斯滤波器基于这样一个假设：噪声主要表现为高频成分，而自然图像具有局部空间平滑性（低频特征）。线性滤波通过卷积操作抑制高频分量，但往往会模糊边缘、过度平滑纹理，导致图像细节丢失。 为克服线性与局部方法的局限，研究者提出了变换域去噪方法，特别是利用能稀疏表示图像的变换。小波变换是代表性方法 [64]，能够提供多分辨率表示，适合建模自然图像的分段平滑特性。小波阈值化框架 [33, 32] 通过对小波系数做软/硬阈值处理来抑制噪声，并通过逆变换重建图像。其改进版本包括贝叶斯阈值等自适应方法，可在不同噪声水平下提升性能。 尽管变换域方法有效，但仍难以充分利用自然图像的非局部自相似性。这一限制促使了非局部均值（NLM） 算法 [15] 的提出，该方法通过全图范围内的加权平均来恢复每个像素，权重由局部邻域相似性决定。这样能够保留局部方法常常忽视的重复纹理与细节。 在 NLM 的基础上，块匹配与协同滤波方法得以发展，其中 BM3D [29] 成为最具影响力的实际算法之一。BM3D 通过将相似图像块分组为 3D 堆栈，并在组内进行协同变换域滤波（小波 + DCT），再将估计结果聚合回图像域，从而实现高效的信噪分离。BM3D 的重叠块聚合机制也有助于减少伪影并提升鲁棒性。 与此同时，变分方法提供了严格的数学框架。经典的全变差（TV）正则化 [80, 18] 将去噪问题表述为x^=argminx12∥y−x∥22+λ∥∇x∥1,\hat{x} = \arg\min_x \frac{1}{2}|y - x|_2^2 + \lambda |\nabla x|1,x^=argxmin21∥y−x∥22+λ∥∇x∥1, 其中梯度稀疏性有助于保留边缘。但 TV 常出现阶梯效应（staircasing），即平滑过渡被分割成分段常值区域。为此，研究者提出了高阶正则化与非凸惩罚 [23, 14, 93]，以更灵活地捕捉纹理与细节。 随着大规模数据集与算力的出现，数据驱动的去噪器逐渐成为主流。早期方法如字典学习与稀疏编码（典型算法为 K-SVD [38, 79]）能够从噪声图像块中学习过完备字典，并用稀疏表示恢复干净图像。 深度学习的兴起则使 卷积神经网络（CNN） 成为图像去噪的事实标准。代表性模型 DnCNN [100] 采用多层卷积、批归一化和残差学习来直接估计噪声成分，并通过 x^=z−fθ(z)x̂ = z - f\theta(z)x^=z−fθ(z) 形式得到去噪结果。其泛化性能强，能够适应不同噪声水平和图像内容。 进一步的发展引入了注意力机制与 Transformer 架构 [61, 96]，可捕捉长程依赖，从而更好地恢复重复结构。与此同时，自监督去噪方法（如 Noise2Noise [60]、Noise2Void [58]）在无法获取干净真值图像的情况下表现出色，极大拓展了实际应用。另有基于 Stein 无偏风险估计（SURE）[65] 与等变性去噪 [63] 的方法，为自监督去噪提供了新的框架。 生成模型的兴起再次带来新视角。去噪扩散概率模型（DDPMs）[49, 68] 学习反演一个逐步加噪的扩散过程，通过一系列去噪步骤生成高保真图像。这类方法与经典迭代去噪自然契合，虽然计算开销大，但在复杂逆问题中展现出最先进性能，并提供了有原则的不确定性量化。 总体来看，图像去噪方法的发展经历了线性滤波、变换域方法、非局部方法、变分方法到深度学习的演进。经典算法具备可解释性与理论保证，但表达能力有限；学习型去噪器则能捕捉复杂分布，但稳定性与鲁棒性存在挑战。这种张力催生了混合方法，即在模型驱动的优化框架中嵌入学习型去噪器，从而发展出 PnP 方法 ——它兼具学习型去噪器的性能与经典迭代算法的可解释性。
From Image Denoisers to Regularizing Imaging Inverse Problems: An Overview
相关内容
微信扫码咨询专知VIP会员