【伯克利博士论文】如何让机器人多技能？通过最大熵强化学习(107页pdf)

论文题目：Acquiring Diverse Robot Skills via Maximum Entropy Deep Reinforcement Learning

作者：Tuomas Haarnoja

导师：Pieter Abbeel and Sergey Levine

网址：
https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-176.html

论文摘要：

在本文中，我们研究了最大熵框架如何提供有效的深度强化学习(deep reinforcement learning, deep RL)算法，以连贯性地解决任务并有效地进行样本抽取。这个框架有几个有趣的特性。首先，最优策略是随机的，改进了搜索，防止了收敛到局部最优，特别是当目标是多模态的时候。其次，熵项提供了正则化，与确定性方法相比，具有更强的一致性和鲁棒性。第三，最大熵策略是可组合的，即可以组合两个或两个以上的策略，并且所得到的策略对于组成任务奖励的总和是近似最优的。第四，最大熵RL作为概率推理的观点为构建能够解决复杂和稀疏奖励任务的分层策略提供了基础。在第一部分中,我们将在此基础上设计新的算法框架,从soft Q学习的学习表现力好的能量策略、对于 sodt actor-critic提供简单和方便的方法,到温度自动调整策略, 几乎不需要hyperparameter调优,这是最重要的一个实际应用的调优hyperparameters可以非常昂贵。在第二部分中，我们将讨论由最大熵策略固有的随机特性所支持的扩展，包括组合性和层次学习。我们将演示所提出的算法在模拟和现实机器人操作和移动任务中的有效性。