扩散模型作为一类强大的深度生成模型，已在多种数据生成任务中实现了最先进的性能。从高层次来看，它们通过逐步去噪高斯噪声来学习数据分布，模仿非平衡热力学扩散过程。尽管在实践中取得了显著成功，其背后的理论基础仍然理解不足。这种缺乏理论理解限制了扩散模型在更广泛领域（尤其是那些需要可解释性、高效性和安全性的关键应用）中的采用。
针对生成式 AI 模型在可靠性与透明性方面日益增长的关注，本教程（基于主办方在 CPAL'25（斯坦福）举办的联合教程）及时地介绍了扩散模型所依赖的理论原理。我们将重点聚焦于三个核心方面：泛化能力、采样效率和科学应用。借助近期的研究进展，本教程将展示如何利用数据与模型中的低维结构来应对泛化、快速采样收敛和可控性等关键挑战。 具体而言，我们将探讨扩散模型如何自适应地学习潜在的数据分布、如何加速采样过程中的收敛速度，以及如何刻画所学习去噪器的内在属性。这些理论洞见将进一步与实际进展相结合，展示其在现实科学应用中的可用性与潜力。
内容结构图示与主题概述
本教程将具体涵盖以下三方面内容：
(i) 泛化能力（Generalization）： 我们将首先介绍扩散模型的基本原理，随后深入探讨其泛化能力：在何种条件下、为何它们能够学习到低维的目标结构；样本复杂度如何随数据的内在维度而变化；以及模型如何从记忆化逐步过渡到泛化。我们还将引入一种基于概率流的度量指标来量化泛化表现，并强调训练过程中观察到的一些有趣现象。
(ii) 采样效率（Sampling Efficiency）： 我们将构建一种精确的、非渐近的收敛理论，用于分析主流的基于扩散的采样器，并基于这些理论洞察，设计可理论保证更快收敛的高阶扩散采样器（包括基于 SDE 与 ODE 的求解器）。此外，我们还将研究扩散采样器适应未知低维数据结构的能力，并通过自适应并行计算进一步提升训练与采样效率。
(iii) 科学应用（Scientific Applications）： 我们将推动扩散模型在科学成像领域的发展，提升其在高维、高分辨率逆问题求解中的灵活性、效率与稳健性。重点内容包括高效的潜空间方法与基于图块的策略、在挑战性 3D 任务中增强的数据一致性机制，以及在保持样本质量的同时满足特定约束的可控采样技术。
第一部分：扩散模型学习的泛化能力
| 时间 | 09:40 – 10:25 a.m. | 主讲人 | Qing Qu | 1. 可复现性与泛化能力 1. 记忆化与泛化的理论及相变 1. 基于概率流距离的泛化量化方法
第二部分：扩散模型的理论保证与高效采样
| 时间 | 10:25 – 11:10 a.m. | 主讲人 | Yuxin Chen | [PDF] | 1. 非渐近收敛理论 1. 低维结构的自适应能力 1. 基于高阶近似的加速方法
茶歇
| 时间 | 11:10 – 11:15 a.m. |
第三部分：从理论到科学应用
| 时间 | 11:15 – 12:00 p.m. | 主讲人 | Liyue Shen | [PDF] | 1. 高效求解逆问题的方法 1. 学习到的图像先验的泛化能力 1. 可控生成 
Introduction Part I: Generalization of Learning Diffusion Models
相关内容
微信扫码咨询专知VIP会员