【慕尼黑博士论文】多智能体强化学习中的涌现性与韧性，83页pdf

我们的世界代表了一个巨大的多智能体系统（MAS），由大量的智能体组成，这些智能体在不确定性下做决策以实现特定目标。智能体之间的互动不断地以多种方式影响着我们的世界，导致了像生命形式和文明这样多年能持续并能承受各种干扰的有趣现象的出现。构建能够像自然MAS一样适应和生存的人工MAS是人工智能中的一个主要目标，因为像自动驾驶、多智能体仓库和网络物理生产系统这样的一系列潜在的现实世界应用可以直接地被建模为MAS。多智能体强化学习（MARL）是构建此类系统的一个有前景的方法，近年来已取得了显著的进展。然而，最先进的MARL通常在最佳情况下优化性能而忽视与现实世界相关的其他方面。 在这篇论文中，我们讨论了在MARL中的突现性和韧性，这是构建像自然MAS一样有效地适应和生存的人工MAS的重要方面。我们首先关注来自自私智能体的局部互动的突现合作，并介绍了一种基于相互认可的激励方法。然后，我们提出利用突现现象进一步提高大型合作性MAS通过分布式计划或分层价值函数因子分解的协调性。为了在与经典分布式系统类似的局部变化存在的情况下维持多智能体协调，我们提出对抗性方法以提高和评估MARL中的韧性。最后，我们简要地涵盖了一系列与推进MARL向现实世界适用性方面相关的其他主题。