five

AIRBOT_MMK2_take_down_paper_cup

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AIRBOT_MMK2_take_down_paper_cup
下载链接
链接失效反馈
官方服务:
资源简介:
AIRBOT_MMK2_take_down_paper_cup数据集是一个基于LeRobot扩展格式的机器人数据集,涵盖家庭场景,包括抓取、放置、拾取等原子动作。数据集包含丰富的注释,支持多种学习方法,包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓取器模式、抓取器活动、末端执行器模拟位姿、抓取器开启比例等。数据集组织成训练集和测试集,数据文件采用Parquet格式,视频文件采用MP4格式,存储在chunk文件夹中。数据集提供了详细的元信息,包括代码库版本、机器人类型、总剧集数、总帧数、总任务数、总视频数、总块数、块大小、帧率、分割信息、数据路径、视频路径和特征信息。
创建时间:
2025-11-18
原始信息汇总

AIRBOT_MMK2_take_down_paper_cup 数据集概述

📋 基本信息

  • 数据集名称: AIRBOT_MMK2_take_down_paper_cup
  • 许可证: apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人技术
  • 数据集标签: RoboCOIN, LeRobot
  • 规模类别: 1K-10K

🤖 机器人配置

  • 机器人类型: AIRBOT_MMK2
  • 代码库版本: v2.1
  • 末端执行器类型: 五指手

🏠 场景类型

  • 家庭环境

🎯 任务描述

主要任务

用一只手取下白色盖子上的白色纸杯,用另一只手取下另一个白色纸杯

子任务

  1. 异常状态
  2. 结束状态
  3. 用左手抓取杯子
  4. 用右手抓取杯子
  5. 空状态
  6. 用左手将杯子放置在桌子上
  7. 用右手将杯子放置在桌子上

⚡ 原子动作

  • 抓取
  • 放置
  • 拾取

📊 数据集统计

指标 数值
总片段数 46
总帧数 7169
总任务数 1
总视频数 184
总数据块数 1
数据块大小 1000
帧率 30 FPS

🎥 视觉数据

相机视角

  • 4个相机视角
  • 分辨率: 480×640
  • 帧率: 30 FPS
  • 编码格式: AV1

具体视角

  • 高位RGB相机
  • 左手腕RGB相机
  • 右手腕RGB相机
  • 第三视角相机

🏷️ 可用标注

子任务标注

  • 细粒度子任务分割和标注

场景标注

  • 语义场景分类和描述

末端执行器标注

  • 运动方向分类
  • 速度大小分类
  • 加速度大小分类

夹爪标注

  • 开/关状态标注
  • 活动状态分类

附加特征

  • 末端执行器仿真姿态(6D姿态信息)
  • 夹爪开口尺度(连续测量值)

📂 数据结构

数据文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观察

  • 4个RGB视频流

状态和动作

  • 观察状态: float32 (36维)
  • 动作: float32 (36维)

时间信息

  • 时间戳、帧索引、片段索引等

运动特征

  • 末端执行器仿真姿态(状态和动作)
  • 末端执行器方向、速度、加速度

📊 数据划分

  • 训练集: 片段0-45

👥 贡献者

  • RoboCOIN团队

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

  • 初始版本: v1.0.0 (2025年11月)
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据集构建领域,AIRBOT_MMK2_take_down_paper_cup采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过AIRBOT_MMK2双手机器人平台采集7169帧操作数据,涵盖46个完整操作片段,以30帧率记录四路视觉观测数据。数据组织采用分块存储架构,将操作序列按时间维度划分为1000帧的标准化数据块,并通过Parquet格式实现高效存储与读取。
使用方法
基于LeRobot兼容性设计,研究者可通过标准化接口直接加载该数据集进行算法开发。训练阶段可利用全部46个操作片段,通过数据块索引机制高效访问多模态观测序列。典型应用流程包括解析视觉观测流与关节状态数据,结合末端执行器运动标注训练模仿学习模型,或利用细粒度子任务分割开发分层强化学习策略。数据集支持端到端策略学习与行为克隆等主流机器人学习方法。
背景与挑战
背景概述
在机器人操作领域,双手机器人协同控制一直是研究热点,AIRBOT_MMK2_take_down_paper_cup数据集应运而生。该数据集由RoboCOIN团队于2025年构建,聚焦于家居环境中双手机器人执行复杂抓取与放置任务的核心问题。通过46个完整操作序列与7169帧多视角视频数据,系统记录了AIRBOT_MMK2机器人双手协同拆卸纸杯的完整流程。该数据集基于LeRobot框架扩展开发,不仅提供了精细的末端执行器运动轨迹标注,更通过十二维关节状态数据为机器人模仿学习与强化学习算法提供了重要支撑,显著推进了双手机器人在非结构化环境中的操作能力研究。
当前挑战
双手机器人操作面临协调控制与精细抓取的双重挑战。在领域层面,该数据集致力于解决双手协同操作中的动态避障与力控平衡问题,特别是在处理易变形物体时需克服抓取力度与位姿精度的矛盾。构建过程中,多传感器数据同步成为主要难点,四路高清视频流与三十六维关节数据的实时对齐需要精密的时间戳校准。此外,五指灵巧手的抓取动作标注需人工复核每个关节角度,标注一致性保障消耗了大量工程资源。场景动态光照变化导致的部分图像质量波动,亦对视觉感知模块的鲁棒性提出了更高要求。
常用场景
经典使用场景
在机器人操作学习领域,该数据集聚焦于双手协同操作场景,通过记录AIRBOT_MMK2机器人执行纸杯拆卸任务的完整流程,为模仿学习算法提供丰富的训练样本。其多视角视觉观测与精细的动作标注体系,使得研究者能够构建从视觉感知到动作执行的端到端学习模型,特别适用于研究双手协调控制中的时序依赖关系与任务分解策略。
解决学术问题
该数据集有效解决了机器人操作中双手协同控制的学术难题,通过提供包含抓取、放置等原子动作的精细标注数据,为研究多模态感知与运动规划的结合机制奠定基础。其丰富的末端执行器运动特征与抓取器状态标注,使得学者能够深入探索操作任务的动态特性与物理约束,推动机器人操作从单一动作向复杂任务序列的范式转变。
实际应用
在家庭服务机器人领域,该数据集支撑了日常物品操作技能的开发,其记录的纸杯拆卸任务模拟了真实家庭环境中的常见操作需求。通过分析双手协调操作的模式,可指导服务机器人执行餐具整理、物品收纳等实际任务,为养老助残等场景下的机器人应用提供技术储备。
数据集最近研究
最新研究方向
在机器人操作领域,AIRBOT_MMK2数据集聚焦于双手协同抓取任务的前沿探索。该数据集通过多视角视觉观测与精细化的末端执行器运动标注,为模仿学习与强化学习算法提供了丰富的训练基础。当前研究热点集中于双机械臂动态协调策略的优化,结合场景语义理解与实时运动规划,推动家庭环境中复杂物体操作任务的自主化进程。这一进展对服务机器人智能化发展具有深远意义,为具身智能系统的实际部署奠定了数据基石。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作