【EPFL博士论文】大型语言模型时代的协作式智能体

大型语言模型时代的协作式人工智能智能体

构建能够可靠代表人类执行任务的智能体，是人工智能（AI）领域的核心目标之一。为了实现这一目标，智能体不仅需要能够灵活地与工具（如搜索引擎和数据库）交互，还必须具备协作能力。 本论文系统地研究了在大型语言模型（LLM）时代支持智能体开发所需的抽象机制、方法论和基础设施。全文分为四个部分，分别阐述如下： 第一部分探讨了以目标为导向的协作场景，其中至少一个组成部分基于LLM。为了使LLM组件能够有效与其他组件协同工作，尤其是在通过API暴露的传统软件系统中，它必须遵循预定义的接口规范，并引导协作朝着高效目标推进。我们表明，LLM的解码算法可作为一种无需更改底层模型的高效策略，既能遵循接口，又能实现智能协作。 第二部分面向LLM能力不足、又缺乏有效训练信号的协作场景。为解决此类问题，我们提出了一个新的原则：利用结构不对称性进行合成数据生成，并展示了即使在LLM本身无法直接解决任务的前提下，该方法也能生成有用的数据。我们还将该方法与LLM自我改进机制的代表性研究建立了联系，凸显了该策略的通用性。 第三部分探讨了多个AI系统、工具与人类之间的协作。我们提出了一种新的抽象框架，并配套开发了一个支持并发和模块化的库，构建起理论与实践相结合的基础设施，能够系统地建模、实现和研究任意复杂的结构化交互。为验证该框架的潜力，我们应用其系统地研究了复杂协作在解决编程竞赛问题中的优势。 第四部分提出了一个名为**语义解码（semantic decoding）**的新视角，用以系统分析结构化交互的设计空间。该部分以对未来研究方向的讨论收尾，特别聚焦于在前三部分工作基础上，语义解码视角所引发的研究机遇与关键问题。

---

关键词：人工智能智能体、大型语言模型、合成数据生成、解码算法、Transformer、自然语言处理、人工智能