M3Bench

M3Bench数据集包含30k个移动操作机器人的联合轨迹，覆盖119个场景。数据集的组织结构包括机器人URDF模型、场景URDF资产、拾取任务和放置任务的相关文件。每个任务实例包含规划请求配置、运动规划器输出、任务配置文件和完成任务的关节轨迹及任务语言描述。

The M3Bench dataset contains 30k joint trajectories of mobile manipulation robots, spanning 119 distinct scenarios. Its organizational structure includes robot URDF models, URDF assets for scenarios, and relevant files for pick-and-place tasks. Each task instance comprises planning request configurations, motion planner outputs, task configuration files, joint trajectories for completed tasks, and natural language descriptions of the respective tasks.

原始信息汇总

M3Bench数据集概述

1. 数据集基本信息

• 名称: M3Bench
• 用途: 用于移动操作器在3D场景中的全身运动生成基准测试
• 数据量: 30k条联合轨迹
• 场景数量: 119个
• 发布年份: 2025
• 相关论文: IEEE Robotics and Automation Letters (RA-L)
• 下载地址: https://huggingface.co/datasets/M3Bench/M3Bench

2. 数据集结构

• robot_urdf/: 包含机器人的URDF模型
• scene_urdf/<physcene_xxx>/: 包含场景的URDF资产，physcene_xxx为场景ID
• pick/<physcene_xxx>/<object_linkname>/: 包含场景中特定物体的拾取任务数据
  • <timestamp>/<instance-id>/: 包含任务实例的具体文件
    • vkc_request.json: 运动规划器的规划请求配置
    • pick_vkc_return.json: 运动规划器的输出
    • config.json: 任务配置文件（目标物体链接名称、初始位姿、机器人初始位置）
    • <trajectory>/pick_vkc_caption_trajectory.json: 完成任务实例的关节轨迹和任务语言描述
• place/: 结构与pick/类似，用于放置任务

3. 评估协议

3.1 评估阶段

1. PyBullet评估:
   • 评估物理约束遵守情况（碰撞率、关节违规、轨迹平滑度）
2. Isaac Sim评估:
   • 评估任务成功率（拾取/放置是否成功）

3.2 环境设置

PyBullet环境

• 安装命令: bash cd evaluation/ bash setup.sh cd ../

• 需修改yourdfpy源代码

Isaac Sim环境

• 安装命令: bash cd tongverse/ bash setup.sh cd ../

3.3 评估流程

准备工作

• 确保生成轨迹结构与M2Diffuser输出一致
• 更新utils/path.py中的目录路径
• 修改config/task/pick.yaml中的轨迹目录路径

PyBullet评估

• 添加轨迹加载代码至evaluate_traj.py

• 运行命令: bash bash scripts/evaluate.sh

• 结果存储位置: <model-name>/results_dataset/

Isaac Sim评估

1. 激活TongVerse conda环境

2. 移动evaluate/tv_evaluate至tongverse/目录

3. 运行命令: bash python evaluate_pick.py --result_dir /your_ws_path/m3bench/results/pick/${timestamp} --dataset_test_dir /your_data_path/pick/test

4. 处理聚合结果: bash python eval_all_result_pick_dataset.py --result_dir ../../results_dataset/pick/${timestamp} --dataset_test_dir /your_data_path/pick/test

搜集汇总

数据集介绍

构建方式

M3Bench数据集构建于三维场景下的移动机械臂全身运动生成任务，通过整合119个独特场景中的3万条关节轨迹数据。数据集采用层次化结构组织，包含机器人URDF模型、场景URDF资产及具体任务实例。每个任务实例由VKC运动规划器生成，涵盖拾取和放置两种操作类型，并附带任务配置文件和自然语言描述，确保数据集的完整性和可追溯性。构建过程中严格遵循物理约束验证，为后续算法开发提供可靠基准。

特点

该数据集的核心特点体现在多模态任务覆盖与精细化标注体系。不仅包含机械臂关节轨迹的时空序列数据，还融合了三维场景的几何语义信息与任务描述文本。数据集特别设计了双阶段评估协议，支持PyBullet的物理约束验证和Isaac Sim的任务成功率测试。场景多样性涵盖家居、工业等典型环境，任务实例包含不同物体交互姿态，为研究复杂环境下的运动规划提供丰富样本。

使用方法

使用M3Bench需配置PyBullet和Isaac Sim双评估环境。用户需根据官方指南修改yourdfpy源码以适配独立轴缩放，并通过setup.sh脚本部署依赖环境。评估时需将生成轨迹按标准JSON格式组织，更新utils/path.py中的路径配置。PyBullet评估通过evaluate.sh脚本执行物理合规性检测，Isaac Sim评估需激活TongVerse环境后运行专用评估脚本。数据集支持自定义评估模块开发，建议用户根据研究目标调整评估参数。

背景与挑战

背景概述

M3Bench数据集由IEEE Robotics and Automation Letters (RA-L)于2025年发布，专注于移动操作机器人在3D场景中的全身运动生成问题。该数据集由Zeyu Zhang等研究人员主导开发，旨在为机器人运动规划领域提供标准化评估基准。数据集包含30,000条关节轨迹数据，覆盖119个不同场景，通过统一格式记录了机器人URDF模型、场景URDF资产以及抓取放置任务的详细配置信息。作为首个面向移动操作机器人全身运动的大规模基准，M3Bench填补了复杂场景下多任务运动规划数据匮乏的空白，对推动具身智能和机器人自主决策研究具有显著意义。

当前挑战

在领域问题层面，M3Bench需解决移动操作机器人在非结构化环境中协调基座移动与机械臂操作的复合运动规划难题，涉及高维状态空间探索、动态障碍物避碰以及多目标优化等核心挑战。数据集构建过程中，研究团队面临三维场景物理仿真保真度与计算效率的平衡问题，需确保30万条轨迹在PyBullet和Isaac Sim双仿真环境中的评估一致性。此外，任务实例的标准化标注要求精确匹配关节轨迹与自然语言描述，这对运动规划算法的可解释性提出了更高要求。

常用场景

经典使用场景

在机器人运动规划领域，M3Bench数据集为研究人员提供了一个标准化的测试平台，用于评估移动机械臂在复杂3D场景中的全身运动生成能力。该数据集包含30,000条关节轨迹和119个场景，涵盖了从拾取到放置等多种任务类型。研究人员可以利用这些数据来训练和验证运动规划算法，特别是在处理高维状态空间和复杂物理约束时，M3Bench提供了丰富的实验场景和任务实例。

实际应用

在实际工业应用中，M3Bench数据集支持了仓储物流、柔性制造等场景中的移动机械臂开发。基于该数据集训练的算法可以优化机械臂在复杂环境中的运动效率，减少碰撞风险，提高任务完成率。例如在电商仓储中，机械臂能够更精准地抓取和放置不规则物品；在汽车装配线上，移动机械臂可以安全地在有限空间内完成多工序操作。数据集提供的URDF模型和场景资产可直接对接工业仿真平台，加速了技术落地进程。

衍生相关工作

围绕M3Bench数据集已衍生出多项创新研究，包括基于扩散模型的运动规划框架M2Diffuser、结合强化学习的动态避障算法，以及面向多任务迁移的元学习方法。这些工作显著推进了移动机械臂在非结构化环境中的自主能力。部分研究进一步扩展了数据集的应用边界，如将运动规划与视觉语言模型结合实现自然语言指令控制，或开发跨场景的通用运动表征学习方法。