【斯坦福博士论文】生成模型中深度概率推理的扩展与应用，262页pdf

尽管数据规模在增长，但我们希望将学习算法的许多应用都受到数据数量和质量的限制。生成模型提出了一个框架，可以自然地将先验信念与现实世界的数据结合起来。生成式方法的核心是概率推理的挑战，或估计给定观测的潜变量。这一挑战催生了涵盖多种统计技术的丰富研究领域。最近，深度学习方法被用来解决推理查询，被恰当地命名为深度推理。在我的论文中，我将探索深度推理的扩展，以应对现实世界的稀疏性和效率的挑战。我将介绍实际应用的案例研究，其中深度推理在以前的工作上取得了相当大的改进。

本文主要围绕三个部分展开。我们介绍了生成模型和深度推理的背景，重点是现代变分方法。第一部分将提出新的泛化推理算法，以对不同的稀疏性概念(如多模态数据、缺失数据或计算约束)具有鲁棒性。其次，我们研究了元平摊推理，或“推断如何推断”。一种双平摊推理算法将能够廉价地解决一个新的生成模型的推理查询。我们将展示一种新的算法来重新利用掩码语言建模来实现这一点。

第三，我们提出了深度推理在教育中的两个现实应用:(a)在项目反应理论和相关心理测量模型下估计学生的能力，(b)为学生学习解决编程问题推理教育反馈。总之，这些贡献展示了深度推理在教育中的丰富性和实用性，以及在现实世界中更广泛的应用。