five

AIRBOT_MMK2_place_the_blue_and_purple_blocks

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AIRBOT_MMK2_place_the_blue_and_purple_blocks
下载链接
链接失效反馈
官方服务:
资源简介:
这是一个基于LeRobot扩展格式的机器人数据集,包含了对子任务、场景、末端执行器和夹持器的详细注释。数据集包括视频数据、状态数据、动作数据和元数据,并以结构化的格式组织。该数据集与LeRobot框架兼容,并包含各种特征以支持多样化的学习方法。
创建时间:
2025-11-18
原始信息汇总

AIRBOT_MMK2_place_the_blue_and_purple_blocks 数据集概述

📋 基本信息

  • 数据集名称: AIRBOT_MMK2_place_the_blue_and_purple_blocks
  • 许可证: apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人学
  • 标签: RoboCOIN, LeRobot
  • 规模类别: 10K-100K

🤖 机器人配置

  • 机器人类型: AIRBOT_MMK2
  • 代码库版本: v2.1
  • 末端执行器类型: 五指手

🏠 场景类型

  • 家庭场景

🎯 任务描述

主要任务

拾取紫色立方体并放置在盘子上,然后从桌子上拾取蓝色立方体并将其放置在紫色立方体顶部

子任务

包含7个不同的子任务:

  1. 结束
  2. 用右手夹爪抓取蓝色立方体块
  3. 用左手夹爪抓取紫色立方体块
  4. 用右手夹爪将蓝色立方体块放置在紫色立方体块上
  5. 用左手夹爪将紫色立方体块放置在盘子上
  6. 静态

📊 数据集统计

指标 数值
总片段数 50
总帧数 10277
总任务数 1
总视频数 200
总分块数 1
分块大小 1000
帧率 30

🎥 视觉数据

  • 相机视角数量: 4个
  • 视频编码: av1
  • 分辨率: 480×640
  • 帧率: 30 FPS

相机视角

  • observation.images.cam_high_rgb
  • observation.images.cam_left_wrist_rgb
  • observation.images.cam_right_wrist_rgb
  • observation.images.cam_third_view

🏷️ 可用标注

子任务标注

  • 子任务分割: 细粒度的子任务分割和标注

场景标注

  • 场景级描述: 语义场景分类和描述

末端执行器标注

  • 方向: 机器人末端执行器的运动方向分类
  • 速度: 操作过程中的速度大小分类
  • 加速度: 运动分析的加速度大小分类

夹爪标注

  • 夹爪模式: 夹爪开/闭状态标注
  • 夹爪活动: 活动状态分类(活动/非活动)

附加特征

  • 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息
  • 夹爪开度尺度: 连续的夹爪开度测量

📂 数据划分

  • 训练集: 片段0-49

📁 数据集结构

文件组织

  • 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

  • 4个RGB相机视频流

状态和动作

  • observation.state: float32 (36维)
  • action: float32 (36维)

时间信息

  • timestamp, frame_index, episode_index, index, task_index

运动特征

  • eef_sim_pose_state, eef_sim_pose_action
  • eef_direction_state, eef_direction_action
  • eef_velocity_state, eef_velocity_action
  • eef_acc_mag_state, eef_acc_mag_action

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

  • 初始版本: v1.0.0 (2025年11月)
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作研究领域,数据集的构建质量直接影响模型性能。该数据集采用AIRBOT_MMK2双手机器人平台,通过五指灵巧手执行积木堆叠任务,采集了50个完整操作片段共计10277帧数据。数据以LeRobot扩展格式组织,包含200段视频和1个数据块,采用30帧率的多视角视频采集系统,通过标准化数据管道将原始传感器数据转化为结构化特征。
使用方法
研究人员可通过加载标准Parquet格式数据文件访问该数据集,利用预定义的数据分割方案(训练集包含0-49号片段)进行模型开发。数据集支持端到端模仿学习流程,用户可同时调用多视角视频流与关节状态数据,结合细粒度子任务标注实现分层策略学习。通过末端执行器仿真位姿和运动特征,能够构建精确的动作预测模型,推动双臂协调操作算法的创新研究。
背景与挑战
背景概述
机器人操作领域近年来致力于开发能够执行复杂双手协调任务的人工智能系统。AIRBOT_MMK2_place_the_blue_and_purple_blocks数据集由RoboCOIN团队于2025年构建,作为RoboCOIN项目的重要组成部分,专注于解决双手协作物体堆叠这一核心研究问题。该数据集采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器,在家庭场景中采集了包含50个任务片段、10277帧数据的完整操作序列,其基于LeRobot框架的扩展格式为机器人模仿学习研究提供了标准化基准,显著推动了双手操作策略的算法开发进程。
当前挑战
在机器人操作领域,双手协调堆叠任务面临多模态感知融合与精确运动控制的挑战,需要同时处理视觉定位、抓取姿态规划和放置稳定性等复杂问题。数据集构建过程中,研究人员需克服多视角视频同步采集、高维状态动作空间标注、以及灵巧手精细操作数据获取等技术难题。特别是对于五指灵巧手的控制,需要精确记录36个关节状态与12维末端执行器位姿,同时保证四路摄像头视角的时空一致性,这些因素共同构成了数据集构建的核心挑战。
常用场景
经典使用场景
在机器人操作学习领域,该数据集为双手机械臂的精细操作任务提供了标准化实验平台。其核心应用场景聚焦于多步骤物体堆叠任务的演示学习,通过捕捉抓取、拾取、放置等原子动作序列,为模仿学习算法提供结构化训练数据。四路摄像头视角与丰富的运动标注共同构建了完整的视觉-动作对应关系,使研究者能够系统分析双手协调操作中的时序依赖与空间约束。
解决学术问题
该数据集有效解决了机器人操作中动作分割与任务规划的学术难题。通过精细标注的七个子任务序列,为层次化强化学习提供了可解释的中间表征,显著提升了长周期任务的学习效率。其包含的末端执行器运动学参数与抓取器状态信息,为研究动态环境下的双手协调控制策略奠定了数据基础,推动了从感知到动作的端到端学习框架发展。
实际应用
在家庭服务机器人领域,该数据集支撑了物体整理与堆叠功能的实际开发。基于数据驱动的控制策略可应用于智能仓储中的货物分拣系统,其双手协调操作范式对精密装配制造业具有重要参考价值。多视角视频数据与真实物理参数为仿真到实物的迁移学习提供了桥梁,显著降低了机器人技能部署的实际成本。
数据集最近研究
最新研究方向
在机器人操作领域,AIRBOT_MMK2数据集聚焦于双手机械臂的精细物体堆叠任务,其最新研究方向主要围绕多模态学习与动作分解策略展开。该数据集通过四路摄像头视角与丰富的末端执行器运动标注,为模仿学习与强化学习算法提供了高精度训练基础。当前研究热点集中于利用其细粒度子任务分割数据,开发能够理解复杂操作序列的层次化策略网络,同时结合仿真姿态信息探索跨场景的泛化能力。这一进展对家庭服务机器人的自主操作能力提升具有重要意义,推动了机器人从单一动作执行向多步骤任务规划的范式转变。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作