《抗干扰协同无人机中继网络的多智能体深度强化学习》

将无人机集群作为动态通信中继进行部署，对下一代战术网络至关重要。然而，在对抗性环境中运行需要解决复杂的权衡问题，包括最大化系统吞吐量，同时确保避免碰撞和抵御对抗性干扰的韧性。由于该问题具有动态、多目标的特性，现有的基于启发式的方法往往难以找到有效解决方案。本文将这一挑战建模为一个协同多智能体强化学习问题，并采用“集中训练与分散执行”框架予以解决。本文方法使用一个集中式的评论家，它利用全局状态信息来指导仅基于本地观测进行操作的分散式执行者。仿真结果表明，提出的框架显著优于启发式基准方法，在将系统总吞吐量提高约50%的同时，实现了近乎零的碰撞率。一个关键发现是，智能体在没有显式编程的情况下，形成了一种新兴的抗干扰策略。它们学会了智能地调整自身位置，以平衡缓解干扰源干扰与维持同地面用户有效通信链路之间的权衡。

本研究的主要贡献包含以下三个方面：

• 针对无人机协同作业问题提出了一种全面的多智能体强化学习建模方法，将吞吐量最大化、碰撞避免和抗干扰韧性整合到一个统一的奖励结构中。

• 提出并实现了一个基于“集中训练与分散执行”的学习框架，该框架采用集中式评论家和分散式执行者，以学习用于资源分配和时空定位的复杂协同策略。

• 提供了大量的仿真结果，证明所提出的智能体学会了新兴的抗干扰策略，并有效平衡了吞吐量与安全性之间的权衡，其性能显著优于现有的启发式基准方法。