play-to-policy

虽然离线数据的大规模序列建模在自然语言生成和图像生成方面取得了令人印象深刻的性能提升，但将这些想法直接转化为机器人技术一直具有挑战性。造成这种情况的一个关键原因是，从非专家人类演示者收集的未经策划的机器人演示数据（即游戏数据）通常是嘈杂的、多样化的和分布多模式的。这使得从此类数据中提取有用的、以任务为中心的行为成为一个困难的生成建模问题。在这项工作中，我们提出了条件行为变压器（C-BeT），这是一种将行为变压器的多模式生成能力与未来条件目标规范相结合的方法。在一系列模拟基准任务中，我们发现 C-BeT 在从游戏数据中学习方面比之前最先进的工作平均提高了 45.7%。此外，我们首次证明，可以在现实世界的机器人上纯粹从游戏数据中学习有用的以任务为中心的行为，而无需任何任务标签或奖励信息。