【MIT博士论文】人工智能系统的组合泛化，194页pdf

人类智能的一个重要方面是能够从简单的想法中组合出越来越复杂的概念，从而实现快速学习和知识的适应。尽管目前的AI系统表现出色，但在这一领域却有所欠缺，通常无法解决超出其训练分布范围的任务。本论文的工作旨在通过将组合性纳入深度神经网络来弥补这一差距，从而增强它们解决新颖和复杂任务的能力，例如根据复杂的规范生成2D图像和3D资产，或使仿人代理执行多种家庭活动。这篇论文的影响深远，因为组合性在生物学、机器人技术和艺术制作等领域有众多应用。通过显著提高AI系统的组合性能力，这项研究将为不同研究领域中更高效的数据和更强大的模型铺平道路。

"组合性是现代AI系统所缺少的人类智能的一个关键方面。构建概念的能力：结合模式、思想和子目标来构建对世界的结构化表示，然后通过操纵个别组成部分来推理世界，体现在关键的认知能力中。人类可以将个别观察结果融入复杂的知识和信念结构中，对复杂计划进行小范围的针对性调整，想象基本情景的替代方案，并创造出受现有作品启发的新技术或艺术。此类组合能力在AI系统中基本上尚未实现，但实现这一点可能是解锁主要AI能力（如持续学习、可控和稳健行为、高级规划、反事实推理和更强大的泛化）的关键之一。 本论文专注于开发表现出组合能力的神经网络，以解决广泛的任务，如图像生成、问题回答、数学推理、机器人操控和体现决策。目标是使网络能够解决在训练过程中未曝露的概念、目标或技能组合的任务。 我们对组合AI的研究涵盖以下两个轴心：先验知识和组合结构。先验知识描述了模型在培训过程中学习的基本概念和能力集合。在大量数据上训练的大型深度学习模型[131, 125, 13]包含丰富的先验知识，但它们缺乏实现组合性的另一个关键组成部分——组合结构。为了构建组合结构，我们提出了组合算子来组合基本概念。将组合算子应用于预训练模型，使我们能够显著提高AI系统的组合生成能力。

本论文的前两部分介绍了如何构建组合结构。第一部分：构思概念和目标：我们开发了可以组合概念或目标以产生高度可控和复杂、细致行为的神经网络。第二部分：模型组合：我们组合来自不同领域的预训练模型，以在没有任何训练或微调的情况下产生强大的跨模态能力。在第三部分：转移组合性中，我们介绍了如何通过从预训练模型转移知识来以数据高效的方式实现先验知识。"