five

AIRBOT_MMK2_stacking_blocks

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AIRBOT_MMK2_stacking_blocks
下载链接
链接失效反馈
官方服务:
资源简介:
这是一个基于LeRobot数据集的扩展格式数据集,完全兼容LeRobot。数据集使用AIRBOT_MMK2机器人,代码库版本为v2.1,末端执行器类型为五指手。数据集涵盖了家庭场景,包括抓取、捡起和放置等原子动作。数据集包含213个总剧集、52766帧、5个任务、852个视频和1个数据块,数据块大小为1000,帧率为30。数据集还包括丰富的注释,包括子任务分割、场景描述、末端执行器方向、速度、加速度等。数据集还包括抓取器模式、抓取器活动状态等注释。此外,数据集还包括末端执行器模拟姿态、抓取器开启刻度等附加特征。
创建时间:
2025-11-18
原始信息汇总

AIRBOT_MMK2_stacking_blocks 数据集概述

基本信息

  • 数据集名称: AIRBOT_MMK2_stacking_blocks
  • 许可证: apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人学
  • 标签: RoboCOIN, LeRobot
  • 规模类别: 10K-100K

技术规格

  • 机器人类型: AIRBOT_MMK2
  • 代码库版本: v2.1
  • 末端执行器类型: five_finger_hand
  • 场景类型: home
  • 原子动作: grasp, pick, place

数据集统计

指标 数值
总情节数 213
总帧数 52766
总任务数 5
总视频数 852
总分块数 1
分块大小 1000
帧率 30

任务描述

主要任务

  • 用一只手从桌子一侧拾取红色矩形块并放置在中心,然后用另一只手从另一侧拾取蓝色六边形木块并堆叠在红色块上
  • 用一只手将大块从一侧移动到中心,用另一只手将小块堆叠在上面
  • 用一只手从桌子上拾取一个块并放置在块堆上,然后用另一只手从桌子上拾取另一个块并放置在块堆上
  • 用一只手从桌子一侧拾取蓝色立方体并放置在中间的黄色立方体上,然后用另一只手从另一侧拾取绿色立方体并放置在蓝色立方体上
  • 用一只手从桌子上拾取蓝色立方体并放置在小桌子上,然后用另一只手从桌子上拾取红色立方体并放置在蓝色立方体上

子任务

包含25个不同的子任务,涵盖抓取和放置各种颜色和形状的积木操作

数据特征

视觉观察

  • observation.images.cam_high_rgb: 视频,480×640×3,30fps,AV1编码
  • observation.images.cam_left_wrist_rgb: 视频,480×640×3,30fps,AV1编码
  • observation.images.cam_right_wrist_rgb: 视频,480×640×3,30fps,AV1编码
  • observation.images.cam_third_view: 视频,480×640×3,30fps,AV1编码

状态和动作

  • observation.state: float32,36维关节状态
  • action: float32,36维动作命令

注释信息

  • 子任务注释: 细粒度子任务分割和标注
  • 场景注释: 语义场景分类和描述
  • 末端执行器注释: 方向、速度、加速度分类
  • 夹爪注释: 模式(开/关)、活动状态

运动特征

  • 末端执行器仿真位姿: 6D位姿信息(状态和动作)
  • 夹爪开合尺度: 连续夹爪开合测量(状态和动作)

数据组织

文件结构

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

  • 训练集: 情节0-212

作者和链接

贡献者

  • RoboCOIN团队

相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作研究领域,AIRBOT_MMK2_stacking_blocks数据集通过AIRBOT_MMK2双手机器人系统采集构建,采用五指灵巧手执行抓取、拾取与放置等原子动作。数据组织遵循LeRobot扩展格式,包含213个完整操作序列,总计52766帧视觉与状态数据。采集过程涵盖家庭环境下的积木堆叠任务,通过分块存储机制将数据划分为单一数据块,每块容纳1000个操作片段,并以30帧率同步记录四路高清视频流与36维关节状态信息。
特点
该数据集在机器人操作学习领域展现出多模态融合特性,集成四路异构视觉视角包括高位全局视角、左右腕部视角及第三方观测视角。数据标注体系涵盖精细化的子任务分割、场景语义分类以及末端执行器运动学特征,包含方向、速度、加速度等多维度运动参数。独特的双端标注机制同时提供状态与动作层面的末端执行器六维位姿信息,配合连续抓取器开合尺度测量,为模仿学习与策略优化提供丰富监督信号。
使用方法
研究者可通过LeRobot兼容接口直接加载该数据集,利用标准化的Parquet数据文件与MP4视频流进行模型训练。数据使用需遵循分块索引机制,按照chunk-{episode_chunk:03d}/episode_{episode_index:06d}路径模式访问具体操作序列。训练阶段可联合利用视觉观察、关节状态与动作指令三元组,结合细粒度子任务标注实现分层策略学习。验证过程中应注意时序一致性校验,充分利用时间戳与帧索引确保多模态数据对齐。
背景与挑战
背景概述
在机器人操作研究领域,双手协调控制是实现复杂任务的关键技术。AIRBOT_MMK2_stacking_blocks数据集由RoboCOIN团队于2025年构建,聚焦于双手机器人堆叠积木的操作场景。该数据集采用AIRBOT_MMK2机器人平台与五指灵巧手末端执行器,通过213个任务片段和5.2万帧数据,系统记录了抓取、拾取、放置等原子动作的完整时序信息。其创新性在于融合多视角视觉观测与精细的末端执行器运动标注,为机器人模仿学习与策略泛化研究提供了重要支撑。
当前挑战
双手机器人操作面临动作协调性与环境适应性的双重挑战。在任务层面,需解决双手抓取时序同步、物体姿态精确控制以及堆叠稳定性等复杂问题。数据集构建过程中,多传感器数据同步、高维动作空间标注以及真实场景下的动态干扰成为主要技术瓶颈。此外,从模拟到真实环境的策略迁移、长时序任务的分段建模以及不同材质物体的抓取泛化能力,均是当前亟待突破的研究难点。
常用场景
经典使用场景
在机器人操作学习领域,该数据集为双臂协同堆叠任务提供了标准化实验平台。通过213个完整操作序列和52766帧多视角视觉数据,研究人员能够系统训练抓取、拾取与放置等基础动作的闭环控制策略。其精细的动作标注体系支持从单臂操作到双手协调的渐进式学习,为复杂操作任务的分解与重组奠定了数据基础。
实际应用
在工业自动化与家庭服务机器人场景中,该数据集支撑了精细物体操作系统的开发。基于五指灵巧手的操作数据可直接应用于物流分拣、精密装配等工业场景,其家居环境下的堆叠任务数据则为服务机器人的日常物品整理提供了技术参照。多视角视觉与运动轨迹的对应关系为实际部署中的感知-动作映射优化提供了重要依据。
衍生相关工作
基于该数据集衍生的研究已形成系列经典成果。在RoboCOIN项目框架下,研究者开发了多智能体协同操作算法与跨模态表示学习方法。其与LeRobot生态的深度整合催生了新一代模仿学习框架,相关成果在双臂协调控制、动态环境适应等方向取得突破,为开源机器人社区提供了可复现的基准系统。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作