MolmoAct2-BimanualYAM-Dataset

MolmoAct2-BimanualYAM 数据集是用于MolmoAct2的大规模双臂机器人操作演示集合。整个数据集包含超过720小时的训练演示，涵盖多种桌面操作任务。The MolmoAct2-BimanualYAM dataset is a large-scale collection of dual-arm robot manipulation demonstrations for MolmoAct2. The entire dataset contains over 720 hours of training demonstrations covering a variety of desktop manipulation tasks.

原始信息汇总

MolmoAct2-BimanualYAM 数据集概述

基本信息

• 数据集名称: MolmoAct2-BimanualYAM Dataset
• 许可证: Apache-2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot
• 创建工具: 基于 Hugging Face 的 LeRobot 框架创建

数据集规模

• 总演示时长: 超过 720 小时的双臂机器人操作训练演示
• 总回合数（Episodes）: 32,246
• 总帧数（Frames）: 76,046,658
• 任务总数: 34 种不同的桌面操作任务
• 采样频率: 30 FPS
• 数据划分: 全部数据用于训练（0:32246）

数据内容与特征

该数据集包含双臂机器人操作演示，每个数据帧包含以下特征：

• 动作（Action）: 14 维浮点数组，包含左臂 6 个关节位置、左夹爪位置、右臂 6 个关节位置和右夹爪位置
• 观测状态（Observation State）: 与动作维度相同的 14 维浮点数组
• 相机观测:
  • 右相机（observation.images.right）: 360×640 分辨率，AV1 编码视频，30 FPS
  • 左相机（observation.images.left）: 360×640 分辨率，AV1 编码视频，30 FPS
  • 顶相机（observation.images.top）: 360×640 分辨率，AV1 编码视频，30 FPS
• 其他元数据字段: 时间戳（timestamp）、帧索引（frame_index）、回合索引（episode_index）、索引（index）和任务索引（task_index）
• 机器人类型: bi_yam_follower（双臂 YAM 机器人）

语言标注

数据集提供带注释的语言指令，存放在 meta/tasks_annotated.parquet 文件中。该文件通过 episode_index 进行索引，包含逐回合的标注任务指令（task 列）。标准 LeRobot 加载器通过 task_index 解析语言指令，用户可直接从 meta/tasks_annotated.parquet 中查找语言注释。

归一化统计信息

该数据集在 MolmoAct2 训练中使用自定义数据加载器，从多个 LeRobot 数据集中组合数据。归一化统计信息采用基于分位数加权平均方法估算，而不是对整个合并数据集重新计算精确全局分位数。虽然这种近似可能引入一定偏差，但在实际训练中表现良好。

可视化工具

用户可使用 MolmoAct2 LeRobot Visualizer 查看该数据集的演示片段，包括相机流、机器人状态、动作和语言标注。

引用信息

该数据集相关论文为《MolmoAct2: Action Reasoning Models for Real-world Deployment》，引用信息如下：

@misc{fang2026molmoact2actionreasoningmodels, title={MolmoAct2: Action Reasoning Models for Real-world Deployment}, author={Haoquan Fang and Jiafei Duan and Donovan Clay and Sam Wang and Shuo Liu and Weikai Huang and Xiang Fan and Wei-Chuan Tsai and Shirui Chen and Yi Ru Wang and Shanli Xing and Jaemin Cho and Jae Sung Park and Ainaz Eftekhar and Peter Sushko and Karen Farley and Angad Wadhwa and Cole Harrison and Winson Han and Ying-Chun Lee and Eli VanderBilt and Rose Hendrix and Suveen Ellawela and Lucas Ngoo and Joyce Chai and Zhongzheng Ren and Ali Farhadi and Dieter Fox and Ranjay Krishna}, year={2026}, eprint={2605.02881}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2605.02881}, }