Austin VIOLA

VIOLA，这是一种以对象为中心的模仿学习方法，用于学习机器人操作的闭环视觉运动策略。我们的方法基于预先训练的视觉模型中的一般对象建议构建以对象为中心的表示。它使用基于转换器的策略来推理这些表示，并关注与任务相关的视觉因素以进行操作预测。这种基于对象的结构先验提高了深度模仿学习算法对对象变化和环境扰动的鲁棒性。我们在模拟和真实机器人上定量评估VIOLA。VIOLA的成功率比最先进的模仿学习方法高出45.8%。它还已成功部署在物理机器人上，以解决具有挑战性的长距离任务，例如餐桌布置和咖啡制作。