CMU Franka Pick-Insert Data

利用不同空间和时间分辨率的传感方式可以提高机器人操作任务的性能。多空间分辨率传感提供在不同空间尺度捕获的分层信息，并实现粗略和精确的运动。同时多时间分辨率传感使代理能够表现出高反应性和实时控制。在这项工作中，我们提出了一个学习可推广的语言条件多任务策略的框架，该策略利用不同空间和时间分辨率的传感，使用不同容量的网络来有效地执行精确和反应性任务的实时控制。我们利用现成的预训练视觉语言模型来操作低频全局特征以及小型非预训练模型来适应高频局部反馈。通过在 3 个领域（粗略、精确和动态操作任务）的广泛实验，我们表明我们的方法显着改进（2×平均）超过最近的多任务基线。此外，我们的方法很好地概括了目标对象的视觉和几何变化以及不同的相互作用力。