CMU Franka Pick-Insert Data

利用不同空间和时间分辨率的传感方式可以提高机器人操作任务的性能。多空间分辨率传感提供在不同空间尺度捕获的分层信息，并实现粗略和精确的运动。同时多时间分辨率传感使代理能够表现出高反应性和实时控制。在这项工作中，我们提出了一个学习可推广的语言条件多任务策略的框架，该策略利用不同空间和时间分辨率的传感，使用不同容量的网络来有效地执行精确和反应性任务的实时控制。我们利用现成的预训练视觉语言模型来操作低频全局特征以及小型非预训练模型来适应高频局部反馈。通过在 3 个领域（粗略、精确和动态操作任务）的广泛实验，我们表明我们的方法显着改进（2×平均）超过最近的多任务基线。此外，我们的方法很好地概括了目标对象的视觉和几何变化以及不同的相互作用力。

搜集汇总

背景与挑战

背景概述

CMU Franka Pick-Insert Data数据集专注于通过多空间和时间分辨率传感技术提升机器人操作任务性能，提出了一种可推广的语言条件多任务策略框架。该框架利用不同容量的网络处理高低频特征，在粗略、精确和动态操作三个领域实验中显著改进基线方法，并具有良好的泛化能力。数据集由卡内基梅隆大学于2023年发布，旨在支持机器人学习研究。