CMU Stretch

建造一个能够通过观察人类来理解并学习互动的机器人引发了一些视觉问题。 然而，尽管在静态数据集上取得了一些成功的结果，但目前仍不清楚如何将当前模型直接用于机器人。 在本文中，我们的目标是通过以环境为中心的方式利用人类互动的视频来弥合这一差距。 利用人类行为的互联网视频，我们训练了一个视觉可供性模型，该模型估计人类可能在场景中的位置和方式进行交互。 这些行为可供性的结构直接使机器人能够执行许多复杂的任务。 我们展示了如何将我们的可供性模型与四种机器人学习范例无缝集成，包括离线模仿学习、探索、目标条件学习和强化学习的动作参数化。 我们展示了我们的方法的有效性，我们将其称为视觉机器人桥 (VRB)，因为我们的目标是将计算机视觉技术与机器人操作无缝集成，跨越 4 个现实世界环境、10 多个不同的任务以及 2 个在野外运行的机器人平台 。