five

AIRBOT_MMK2_push_building_blocks

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AIRBOT_MMK2_push_building_blocks
下载链接
链接失效反馈
官方服务:
资源简介:
这是一个使用AIRBOT_MMK2机器人的数据集,用于推动积木等任务。数据集基于LeRobot格式,与LeRobot完全兼容。它包含家庭场景类型,主要原子动作为推动。数据集提供了丰富的注释,包括子任务分割、场景描述、末端执行器方向、速度、加速度、夹具模式、夹具活动等。数据集遵循LeRobot格式,包含视频、状态数据、动作数据和元数据。数据集被组织为训练集,包含从第0个剧集到第138个剧集。
创建时间:
2025-11-18
原始信息汇总

AIRBOT_MMK2_push_building_blocks 数据集概述

📋 基本信息

  • 数据集名称: AIRBOT_MMK2_push_building_blocks
  • 许可证: apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人技术
  • 数据规模: 10K-100K
  • 代码库版本: v2.1
  • 机器人类型: AIRBOT_MMK2
  • 末端执行器类型: 五指手

🎯 任务描述

主要任务

  • 将圆柱形积木推到立方体的一侧
  • 将深蓝色和黄色积木推到拱形积木下方的上角
  • 将拱形积木向上推

子任务

包含9个不同的子任务:

  1. Abnormal
  2. End
  3. 用右夹爪将蓝色立方体移动到盒子的右上侧
  4. 用右夹爪将绿色圆柱体移动到盒子的右侧
  5. 用右夹爪将橙色圆柱体移动到盒子的右侧
  6. 用右夹爪将木制拱形积木移动到盒子的右上侧
  7. 用右夹爪将黄色立方体移动到盒子的右上侧
  8. null
  9. Static

🏠 场景类型

  • home

🤖 原子动作

  • push

📊 数据集统计

指标 数值
总情节数 139
总帧数 40790
总任务数 3
总视频数 556
总块数 1
块大小 1000
帧率 30

🎥 相机视角

包含4个相机视角:

  • cam_high_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
  • cam_third_view

🏷️ 可用标注

子任务标注

  • 子任务分割:细粒度的子任务分割和标注

场景标注

  • 场景级描述:语义场景分类和描述

末端执行器标注

  • 方向:机器人末端执行器的运动方向分类
  • 速度:操作过程中的速度大小分类
  • 加速度:运动分析的加速度大小分类

夹爪标注

  • 夹爪模式:夹爪控制的开/关状态标注
  • 夹爪活动:活动状态分类(活动/非活动)

附加特征

  • 末端执行器仿真姿态:仿真空间中末端执行器的6D姿态信息(状态和动作均可用)
  • 夹爪开口尺度:连续的夹爪开口测量(状态和动作均可用)

📂 数据划分

  • 训练集: 情节0:138

📁 数据集结构

文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 分块: 数据组织为1个块,大小为1000

特征架构

视觉观察

  • observation.images.cam_high_rgb: 视频 (FPS: 30, 编码: av1)
  • observation.images.cam_left_wrist_rgb: 视频 (FPS: 30, 编码: av1)
  • observation.images.cam_right_wrist_rgb: 视频 (FPS: 30, 编码: av1)
  • observation.images.cam_third_view: 视频 (FPS: 30, 编码: av1)

状态和动作

  • observation.state: float32
  • action: float32

时间信息

  • timestamp: float32
  • frame_index: int64
  • episode_index: int64
  • index: int64
  • task_index: int64

标注

  • subtask_annotation: int32
  • scene_annotation: int32

运动特征

  • eef_sim_pose_state: float32 (12维)
  • eef_sim_pose_action: float32 (12维)
  • eef_direction_state: int32 (2维)
  • eef_direction_action: int32 (2维)
  • eef_velocity_state: int32 (2维)
  • eef_velocity_action: int32 (2维)
  • eef_acc_mag_state: int32 (2维)
  • eef_acc_mag_action: int32 (2维)

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 项目页面: https://flagopen.github.io/RoboCOIN/
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

  • RoboCOIN - RoboCOIN团队

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

  • v1.0.0 (2025-11): 初始发布
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作研究领域,该数据集采用AIRBOT_MMK2双手机器人平台与五指灵巧手执行推积木任务,通过扩展LeRobot数据格式构建而成。数据采集涵盖139个完整操作序列,包含40790帧多视角视频记录,以30帧率捕捉家庭环境下的操作过程。数据集采用分块存储机制,将数据组织为单个体量1000的块结构,通过标准化的Parquet文件与MP4视频文件实现高效存取。
特点
该数据集显著特点在于其多维度的标注体系,不仅包含四路同步视觉观测数据,还提供末端执行器的六维位姿、运动方向、速度及加速度等精细运动特征。数据集涵盖9类子任务标注与场景语义分类,支持对双手协同操作的深度分析。36维关节状态与动作空间完整呈现了机器人控制策略,为模仿学习与强化学习算法提供了丰富的训练素材。
使用方法
研究者可通过LeRobot框架直接加载该数据集,利用其标准化的数据接口访问多模态观测信息。训练集涵盖0至138号完整操作序列,支持端到端的策略学习与行为克隆任务。数据读取遵循特定路径模式,通过解析chunk-000目录下的Parquet文件获取状态与动作序列,同时配合视频文件实现视觉感知模块的训练。该数据集兼容主流机器人学习库,便于开展双臂协调控制与精细操作相关研究。
背景与挑战
背景概述
在机器人操作领域,双手机器人系统因其能够模拟人类双手协作而备受关注。AIRBOT_MMK2_push_building_blocks数据集由RoboCOIN团队于2025年构建,作为RoboCOIN项目的重要组成部分,专注于解决双手机器人在家庭环境中对积木类物体的精确推动操作问题。该数据集基于LeRobot框架扩展,采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器,通过139个任务片段和40790帧多视角视频数据,系统记录了机器人对圆柱体、立方体及拱形积木等不同几何形状物体的操作轨迹。其核心研究目标在于探索双手机器人在非结构化环境中的精细操作能力,为机器人模仿学习与强化学习算法提供高质量的多模态训练数据。
当前挑战
在推动操作任务中,机器人需应对物体几何形状多样性带来的运动规划复杂性,例如圆柱体滚动特性与立方体稳定性差异导致的动力学响应变化。数据集构建过程中面临多传感器数据同步的精确性挑战,四路摄像头视角下时空对齐需保持微秒级精度。高维动作空间的标注工作尤为艰巨,36维关节状态与12维末端执行器位姿的连续标注需要解决数据一致性与噪声过滤问题。多模态数据融合时,视觉流与机械状态的时间戳对齐存在硬件延迟补偿难题,而五指灵巧手的精细操作数据采集更需克服传感器漂移与校准误差。
常用场景
经典使用场景
在机器人操作学习领域,该数据集聚焦于推动积木任务,通过139个完整交互片段和40790帧多视角视觉数据,为双臂机器人操作策略的端到端训练提供了标准化基准。其精细标注的末端执行器运动轨迹与抓取器状态变化,成为评估模仿学习与强化学习算法在复杂物体交互任务中泛化能力的经典测试平台。
实际应用
面向家庭服务机器人开发场景,该数据集支撑了从简单物体推送到复杂空间布局调整的操作技能学习。通过模拟真实家居环境中的积木整理任务,为开发具备精细操作能力的家庭助理机器人提供了关键训练数据,特别是在非结构化环境中实现物体重定位与空间规划的实际应用。
衍生相关工作
基于该数据集衍生的研究已拓展至多智能体协同操作与跨模态策略学习方向,其中RoboCOIN项目构建的开放式双手机器人数据生态催生了系列创新工作。这些研究通过融合视觉-动作对应关系与物理约束建模,持续推动着机器人操作从单一技能学习向复杂任务组合的范式演进。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作