机器人思维

<p><br></p><p>Robomind数据集，包括31,005条Franka Emika Panda单臂机器人轨迹、9,686条"天工"人形机器人轨迹、8,030条AgileX Cobot Magic V2.0双臂机器人轨迹、以及6,911条UR-5e单臂机器人轨迹数据。实验显示，基于RoboMIND训练的模型性能显著提升：ACT算法在双臂任务中成功率超55%，RDT-1B特定场景达80%，OpenVLA微调后平均提升30%，验证了数据集对机器人泛化能力的关键支撑作用。开源数据集来源：<a href="https://x-humanoid-robomind.github.io/" rel="noopener noreferrer" target="_blank">https://x-humanoid-robomind.github.io/</a></p><p>这是一个包含 10.7 万条演示轨迹的数据集，涵盖了涉及 96 种物体类别的 479 种多样化任务。RoboMIND 通过人工远程操作收集，并包含了全面的相关机器人信息，包括多视角观测、本体感觉机器人状态信息以及语言任务描述。 为确保模仿学习的数据一致性和可靠性，RoboMIND 基于统一的数据收集平台和标准化协议构建，涵盖四种不同的机器人形态：Franka Emika Panda、UR5e、AgileX 双臂机器人和双灵巧手的人形机器人。我们的数据集还包括 5k 个真实世界的失败演示，每个演示都附有详细原因，以便在策略学习过程中进行失败反思和纠正。此外，我们在 Isaac Sim 模拟器中创建了一个数字孪生环境，复制了现实世界的任务和资产，这有助于低成本收集额外的训练数据，并实现高效评估。为了展示我们数据集的质量和多样性，我们使用各种单任务设置的模仿学习方法以及最先进的视觉-语言-行动（VLA）模型进行了广泛的实验，用于多任务场景。通过利用 RoboMIND，VLA 模型实现了高操作成功率，并展示了强大的泛化能力。 据我们所知，RoboMIND 是最大的多体远程操作数据集，该数据集在统一平台上收集，提供大规模、高质量的机器人训练数据。</p><p>该数据集包含 96 种不同的物体类别。在厨房场景中，它包括草莓、鸡蛋、香蕉和梨等常见食物，以及烤箱和面包机等复杂的可调节电器。在家庭环境中，数据集既包含网球等刚性物体，也包含玩具等可变形物体。办公和工业场景包括需要精确控制的微小物体，如电池和齿轮。这种多样的物体范围增强了数据集的复杂性，并支持训练适用于各种环境的通用操作策略。</p>