【CMU博士论文】《生成式机器人：用于人机协同创作的自监督学习》

机器人自动化通常因其能够承担肮脏、乏味或危险的任务而受到欢迎。但随着机器人能力的不断扩展，机器人正进入一些安全且令人愉悦的领域，例如创意产业。尽管在创意领域广泛存在对自动化的抵触情绪，但从业余爱好者到专业人士，许多人都愿意接受具有支持性或协作性功能的创意工具。 在真实世界机器人场景中支持创意任务具有相当的挑战性：相关数据集十分有限，创意任务本质上抽象且层级较高，并且真实世界中的工具与材料难以建模与预测。基于学习的机器人智能为创意支持工具提供了一条颇具潜力的路径，但由于任务复杂度极高，常见方法如示范学习需要大量样本，而强化学习则可能永远无法收敛。 在本论文中，我们提出多种自监督学习技术，使机器人能够自主学习，从而在创作行为中支持人类。 我们将现实世界中基于高层目标来支持人类创造事物的机器人形式化为一个新的研究领域：生成式机器人（Generative Robotics）。我们提出了一种用于支持二维视觉艺术创作（包括绘画与素描）以及从固定视角进行三维黏土雕塑创作的方法。由于缺乏用于协同绘画与雕塑的机器人数据集，我们设计的方法能够从小规模、机器人自行生成的数据集中学习现实世界约束，并支持协作互动。 本论文的贡献包括：（1）一种 Real2Sim2Real 技术，使机器人能够基于小规模、自生成的动作数据构建复杂的动力学模型；（2）一种能够在语义对齐表示空间中规划机器人在长时间跨度任务中动作的方法；（3）一个自监督学习框架，用于将预训练模型适配为可与机器人兼容并能够生成协作性目标。我们展示了自监督学习如何使基于模型的机器人规划方法能够与人类在多种绘画媒介下进行协作式绘画。 最后，我们将方法从绘画拓展到雕塑领域，证明了该方法能够泛化到新的材料、工具、动作表示以及状态表示。