《可解释自主无人机：XAI 之旅》美国陆军等12页论文

COGLE（COmmon Ground Learning and Explanation）是一个可解释人工智能（XAI）系统，自主无人机向山区的野外部队运送物资。任务风险随地形、飞行决定和任务目标而变化。这些任务由人类加人工智能团队参与，用户决定两架人工智能控制的无人机中哪一架更适合执行任务。这篇文章报告了该项目的技术方法和发现，并反思了复杂的组合问题对用户、机器学习、用户研究和XAI系统的使用环境所带来的挑战。COGLE创建了多种模式的解释。叙述性的 "What"解释比较了每架无人机在任务中的表现，以及基于使用反事实实验确定无人机能力的 "Why"。可视化的 "Where"解释突出了地图上的风险，以帮助用户解释飞行计划。研究的一个分支是研究这些解释是否有助于用户预测无人机的性能。在这个分支中，一个模型归纳的用户研究显示，决策后的解释在教用户自己确定哪架无人机更适合执行任务方面只有很小的作用。随后的思考表明，用决策前的解释来支持人类加人工智能的决策是一个更好的背景，可以从组合任务的解释中受益。

引言

COGLE（COmmon Ground Learning and Explanation）是一个可解释的人工智能（XAI）系统，用于自主无人机向山区的野战部队运送物资。COGLE中的任务是在一个模拟的世界中进行的，其中有山区和森林环境、水体和结构。图1显示了一个任务地图和人工智能控制的无人机的飞行计划。黄色的棒状图显示了徒步旅行者的位置。弯曲的箭头显示了无人机的飞行计划。地图下面的时间线显示了无人机沿其飞行计划的高度。地图上的符号表示物体。尖尖的符号是太高的山，无法飞过。曲线顶的符号是低矮和高大的山麓。绿色区域是草地。树木形状的符号代表森林。

最初，我们使用ArduPilot SITL1，它可以高保真地模拟低空飞行器的动作。ArduPilot的详细模拟所需的计算资源被证明是不方便的，对于任务的战略规划来说是不必要的。低空飞行控制在商业自动驾驶飞机和业余无人机中被广泛实施。为了专注于任务规划，我们开发了一个精度较低的模拟模型（"ArduPilot Light"），在一个回合制的网格世界中，有五级高度和八个独特方向。我们在ArduPilot SITL的API上模拟了ArduPilot Light的兼容编程接口（API）。图2说明了COGLE的模拟网格世界的粗粒度，用于任务规划。

图 1 共同地面学习和解释 (COgLE) 域中任务的示例地图

图 2 来自 COGLE 飞行学校的插图展示了具有五个离散高度的模型以及当包裹从不同高度坠落时坠落区的扩大范围

当无人机与处于同一高度或更高的障碍物飞得太近时，它们就会有坠毁的危险。如果无人机在森林、高山麓或水面上释放其包裹，那么其包裹可能被损坏。包裹可能无法降落在河流、树木或高山脚下。无人机飞得越高，其包裹在伞降过程中可能漂移得越远。一个人工智能飞行员可能会在任务的开始、中间或结束时承担风险。飞行员在任务中的早期决定会以微妙的方式与后来的决定产生互动。例如，在飞行计划的早期，关于如何避开障碍物的选择可能会导致在很晚的时候无法安全地接近选定的地点来投放包裹。

使用COGLE的早期版本，我们对用户进行了自我解释的研究，正如Gary Klein, Robert Hoffman, 和Shane Mueller等人所描述的。这样的研究可以为参与者提供一个关于他们自己想要和使用的解释种类的视角。用于无人机的人工智能飞行员是基于我们早期的深度强化学习者（RL）。他们在非常简单的任务中表现出奇怪和次优的循环行为。研究参与者引用了无人机行为的观察模式，指的是推断的目标、效用和无人机的偏好。

在研究过程中，当被要求做出预测时，参与者经常的回答是 "我不知道"。研究参与者在自我解释方面很有创意（"它怕水！"），但他们没有可靠的依据来确定他们的解释是否正确。事实证明，我们早期的人工智能控制的无人机的奇怪行为是由于他们有限的训练造成的。