CMU Franka Exploration

在本文中，我们解决了直接在现实世界中学习复杂、一般行为的问题。我们提出了一种方法，让机器人仅使用来自许多不同设置的少量现实世界交互轨迹即可有效地学习操作技能。受到计算机视觉和自然语言领域大规模数据集学习成功的启发，我们相信，为了有效学习，机器人必须能够利用互联网规模的人类视频数据。人类以许多有趣的方式与世界互动，这可以让机器人不仅了解有用的行为和可供性，还了解这些行为如何影响世界以进行操纵。我们的方法构建了一个结构化的、以人为中心的动作空间，其基础是从人类视频中学到的视觉可供性。此外，我们在人类视频上训练世界模型，并在没有任何任务监督的情况下对少量机器人交互数据进行微调。我们证明，这种可供性空间世界模型的方法使不同的机器人能够在 30 分钟的交互内学习复杂环境中的各种操作技能。