【ICML2021】来自观察的跨域模仿

模仿学习试图通过利用专家行为来规避在为训练代理设计适当的奖励功能方面的困难。由于环境建模为马尔可夫决策过程(MDP)，大多数现有的模仿算法取决于专家演示的可用性，在同一MDP中，一个新的模仿策略是要学习的。本文研究了专家和代理MDP存在差异时如何进行任务模拟的问题。这些领域之间的差异可能包括不同的动态、观点或形态; 我们提出了一个新的框架来学习通信跨这些领域。重要的是，与之前的工作相比，我们使用仅包含专家领域状态的未配对和未对齐轨迹来学习这种对应关系。我们利用在状态空间和领域未知的潜在空间上的周期一致性约束来做到这一点。另外，我们通过一个归一化的位置估计函数强制状态的时间位置的一致性，以使两个区域的轨迹对齐。一旦找到了这种对应关系，我们就可以直接将一个域上的演示转移到另一个域，并使用它进行模仿。在各种具有挑战性的领域进行的实验证明了我们方法的有效性。