HYDRA

模仿学习（IL）是使用专家演示进行机器人学习的有效范例。然而，通过 IL 学习的策略在测试时会遭受状态分布变化，这是由于行动预测中的复合错误导致了以前未见过的状态。为策略选择一个动作表示来最小化这种分布变化对于模仿学习至关重要。先前的工作建议使用时间动作抽象来减少复合错误，但它们通常会牺牲策略灵活性或需要特定领域的知识。
为了解决这些权衡问题，我们引入了 HYDRA，这是一种利用具有两个动作抽象级别的混合动作空间的方法：稀疏的高级路径点和密集的低级动作。
HYDRA 在测试时动态地在动作抽象之间切换，以实现机器人的粗粒度和细粒度控制。此外，HYDRA采用动作重新标记来提高数据集中动作的一致性，进一步减少分布偏移。在七个具有挑战性的模拟和现实世界环境中， HYDRA 的表现比之前的模仿学习方法高出 30-40%，其中涉及现实世界中的长期任务，例如煮咖啡和烤面包。