five

AIRBOT_MMK2_pour_out_the_beauty_blender

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AIRBOT_MMK2_pour_out_the_beauty_blender
下载链接
链接失效反馈
官方服务:
资源简介:
这个数据集使用了基于LeRobot的扩展格式,并完全兼容LeRobot。数据集包含以下场景类型:家庭。数据集中的原子动作包括抓取、放置和拾取。数据集统计信息包括总剧集数、总帧数、总任务数、总视频数、总块数、块大小和帧率。数据集由RoboCOIN团队贡献。数据集包含丰富的注释,支持多种学习方法。数据集被组织成训练集和测试集。数据集结构遵循LeRobot格式,包含视频、状态数据、动作数据和元数据。数据集包含以下特征:视觉观察、状态和动作、时间信息、注释和运动特征。数据集目录结构包括注释、数据和视频目录。数据集的许可为Apache-2.0。
创建时间:
2025-11-18
原始信息汇总

AIRBOT_MMK2_pour_out_the_beauty_blender 数据集概述

📋 基本信息

  • 机器人类型: AIRBOT_MMK2
  • 代码库版本: v2.1
  • 末端执行器类型: five_finger_hand
  • 许可证: apache-2.0
  • 支持语言: 英语、中文

🎯 任务描述

主要任务

拿起杯子并将美妆蛋倒入碗中

子任务

  1. Abnormal
  2. End
  3. 用右手抓取器抓取装有子弹的纸杯
  4. null
  5. 用右手抓取器将纸杯放在桌子上
  6. 用右手抓取器将子弹从纸杯倒入碗中
  7. Static

📊 数据集统计

指标 数值
总情节数 47
总帧数 17577
总任务数 1
总视频数 188
总分块数 1
分块大小 1000
帧率 30

🏠 场景类型

  • home

🤖 原子动作

  • grasp
  • place
  • pick

🎥 相机视图

  • 4个相机视图

🏷️ 可用标注

子任务标注

  • 子任务分割: 细粒度子任务分割和标注

场景标注

  • 场景级描述: 语义场景分类和描述

末端执行器标注

  • 方向: 机器人末端执行器的运动方向分类
  • 速度: 操作过程中的速度幅度分类
  • 加速度: 运动分析的加速度幅度分类

抓取器标注

  • 抓取器模式: 抓取器开/关状态标注
  • 抓取器活动: 活动状态分类(活跃/非活跃)

附加特征

  • 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息
  • 抓取器开度尺度: 连续抓取器开度测量

📂 数据划分

  • 训练: 情节0:46

📁 数据集结构

文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

  • observation.images.cam_high_rgb: 视频 (480×640×3, 30fps, av1编码)
  • observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30fps, av1编码)
  • observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30fps, av1编码)
  • observation.images.cam_third_view: 视频 (480×640×3, 30fps, av1编码)

状态和动作

  • observation.state: float32 (36维)
  • action: float32 (36维)

时间信息

  • timestamp: float32
  • frame_index: int64
  • episode_index: int64
  • index: int64
  • task_index: int64

运动特征

  • eef_sim_pose_state: float32 (12维)
  • eef_sim_pose_action: float32 (12维)
  • eef_direction_state: int32 (2维)
  • eef_direction_action: int32 (2维)
  • eef_velocity_state: int32 (2维)
  • eef_velocity_action: int32 (2维)
  • eef_acc_mag_state: int32 (2维)
  • eef_acc_mag_action: int32 (2维)

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

  • RoboCOIN - RoboCOIN团队

🏷️ 数据集标签

  • RoboCOIN
  • LeRobot

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据采集领域,该数据集采用AIRBOT_MMK2双手机器人平台,通过五指灵巧手执行倾倒美妆蛋的精细操作任务。数据构建过程包含47个完整操作序列,总计17577帧视觉与运动数据,以30帧率采集四路多视角视频流。数据采用LeRobot扩展格式组织,通过分块存储机制将操作序列划分为单一数据块,每个数据块容量为1000条记录,所有观测数据与动作指令均以标准化parquet格式保存。
特点
该数据集的核心特征体现在多模态数据融合与精细化动作标注体系。四路异构视觉传感器分别提供高位视角、左右腕部视角及第三方视角的同步视频流,分辨率均为640×480。运动数据包含36维关节状态与动作空间,完整覆盖双臂12自由度与双手各12指关节的控制维度。标注体系涵盖子任务分割、场景分类、末端执行器运动学特征(方向、速度、加速度)及夹爪状态监测,特别提供末端执行器六维仿真位姿与夹爪开合尺度连续量测。
使用方法
针对机器人模仿学习研究需求,该数据集支持端到端策略学习与细粒度动作分析。研究者可通过LeRobot兼容接口加载数据流,利用四路视觉观测与36维状态动作空间训练感知控制模型。标注数据支持分层学习范式:子任务标注可用于分段模仿学习,运动学特征适用于动力学建模,末端执行器位姿信息利于三维空间动作生成。训练集涵盖0-46号完整操作序列,数据按分块索引模式组织,支持大规模分布式训练与增量学习场景。
背景与挑战
背景概述
在机器人操作领域,双手机器人系统的精细化控制一直是研究热点。AIRBOT_MMK2_pour_out_the_beauty_blender数据集由RoboCOIN团队于2025年11月发布,聚焦于家庭环境下的物体倾倒任务。该数据集采用AIRBOT_MMK2双手机器人平台,配备五指灵巧手末端执行器,通过47个任务片段和17577帧多视角视频数据,系统记录了抓取、放置、拾取等原子动作的完整执行过程。其与LeRobot框架的兼容性设计,为机器人模仿学习与行为克隆研究提供了标准化数据支撑,显著推进了复杂操作任务的算法开发进程。
当前挑战
该数据集致力于解决双手机器人精细化操作中的动作序列规划难题,尤其在非结构化环境中实现稳定抓取与精准倾倒的协调控制。构建过程中面临多模态数据同步的复杂性,需同时处理四路摄像头视频流与36维关节状态数据。灵巧手的高自由度控制要求精确标注五指关节轨迹,而动态倾倒过程中物体形态变化更增加了动作分割与状态判定的难度。多传感器时序对齐与大规模视频数据压缩存储的技术瓶颈,进一步提升了数据集构建的技术门槛。
常用场景
经典使用场景
在机器人操作学习领域,该数据集通过记录双手机器人执行倾倒美妆蛋的完整流程,为模仿学习算法提供了丰富的训练样本。其多视角视觉观测与精细的动作标注使研究者能够构建端到端的策略网络,模拟人类抓取、移动和倾倒等复杂操作序列。数据集涵盖的47个完整操作片段展现了任务执行的多样性,为机器人动作规划研究奠定了数据基础。
衍生相关工作
围绕该数据集衍生的研究主要集中于多模态机器人学习框架的开发。基于LeRobot生态的研究者构建了分层强化学习模型,利用细粒度动作标注优化策略网络。相关工作还探索了跨场景操作技能的迁移学习,通过对比不同子任务的运动模式,建立了机器人操作知识的泛化理论框架。
数据集最近研究
最新研究方向
在机器人灵巧操作领域,AIRBOT_MMK2数据集凭借其多视角视觉数据与精细动作标注体系,正推动双臂协同操作研究的前沿发展。该数据集通过四路高清摄像头记录的五指灵巧手操作序列,为模仿学习与行为克隆算法提供了真实世界的动态交互样本。当前研究热点集中于利用其丰富的末端执行器运动轨迹数据,开发能够理解复杂操作意图的多模态感知模型。随着家庭服务机器人需求的增长,这类包含倾倒、抓取等日常动作的数据集,为构建通用化操作技能库奠定了关键基础,显著提升了机器人对非结构化环境的适应能力。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作