【CMU博士论文】用于物理模拟的高效深度学习模型

许多自然和工程系统都受偏微分方程（Partial Differential Equations, PDEs）支配，范围从分子体系中的原子相互作用到大尺度的宇宙动力学。求解这些 PDE 对于加深我们对复杂物理现象的理解、实现精确预测，以及为不同科学与工程领域的决策提供指导至关重要。数值求解器被广泛应用于 PDE 的模拟与预测，特别是在许多 PDE 难以甚至无法解析求解的情况下。这些求解器通常通过将连续域离散化为网格，再利用有限差分、有限元、有限体积或谱方法等技术，将微分方程转化为代数方程。

随着机器学习的最新进展，以及深度学习在众多领域取得的成功，人们在建模复杂的次尺度物理过程和开发高效的基于神经网络的 PDE 求解器方面看到了新的可能性。在这些方法中，神经网络可以对目标方程的解函数进行参数化，或直接逼近解算子本身，从而为传统求解器提供一种灵活的替代方案。与数值求解器相比，神经 PDE 求解器通常对较粗的离散化更具容忍度，并可消除对精细网格划分的需求，使其能够以较低的计算开销适应不同领域。此外，由于这些模型能够直接从数据中学习模式，因此并不严格依赖于对底层方程的精确了解，从而为复杂物理模拟提供了一种简洁而高效的途径。

在本论文中，我们探讨了开发和构建基于神经网络的模型，以对多种物理系统进行准确且高效预测的努力。我们首先介绍 Fluid Graph Networks (FGN) 和 Graph neural networks-Accelerated Molecular Dynamics (GAMD)，这两种基于消息传递神经网络参数化的数据驱动模型，可用于高效的基于粒子的系统模拟。随后，我们提出了一系列基于 Transformer 的模型，用于建模包括湍流流动和全球天气动力学在内的多种物理现象。其一是 Operator Transformer (OFormer)，采用 Transformer 编码器-解码器框架，能够灵活地适用于不同的离散化方式。为了提高 Transformer 在高维问题上的可扩展性，我们进一步提出了一种轴向分解注意力机制（axial factorized attention），显著降低了高维网格相关的计算成本。接着，我们将该分解注意力机制扩展到球面上，用于准确且高效的全球天气预报。最后，我们提出了一种生成式神经 PDE 求解器，借鉴了扩散概率模型的最新进展，以提高湍流时变系统模拟的鲁棒性。