five

AIRBOT_MMK2_mobile_phone_storage

收藏
Hugging Face2025-11-27 更新2025-11-28 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AIRBOT_MMK2_mobile_phone_storage
下载链接
链接失效反馈
官方服务:
资源简介:
AIRBOT_MMK2_mobile_phone_storage 数据集是一个基于 LeRobot 扩展格式的数据集,与 LeRobot 完全兼容。该数据集涵盖了家庭场景下的抓取、拾取和放置等原子动作,并提供了丰富的注释和特征,以支持不同的学习方法。数据集包含 49 个剧集、9492 帧、1 个任务、196 个视频和 1 个数据块,数据块大小为 1000,帧率为 30 FPS。数据集以 LeRobot 格式组织,包含视频、状态数据、动作数据和元数据等组件。
创建时间:
2025-11-18
原始信息汇总

AIRBOT_MMK2_mobile_phone_storage 数据集概述

📋 基本信息

  • 机器人类型: AIRBOT_MMK2
  • 代码库版本: v2.1
  • 末端执行器类型: 五指手
  • 许可证: Apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人技术
  • 规模分类: 1K-10K

🏠 场景类型

  • 家庭场景

🤖 原子动作

  • 抓取
  • 拾取
  • 放置

📊 数据集统计

指标 数值
总情节数 49
总帧数 9492
总任务数 1
总视频数 196
总分块数 1
分块大小 1000
帧率 30

🎯 任务描述

主要任务

拿起手机放在计算器盒子上,然后从盒子上拿起手机放在桌子上

子任务

  1. 异常
  2. 结束
  3. 用左手抓取器抓取电话
  4. 用右手抓取器抓取电话
  5. 用左手抓取器将电话放在盒子上
  6. 用右手抓取器将电话放在桌子上
  7. 静态

🎥 相机视角

  • 包含4个相机视角

🏷️ 可用标注

子任务标注

  • 细粒度子任务分割和标注

场景标注

  • 语义场景分类和描述

末端执行器标注

  • 方向:机器人末端执行器的运动方向分类
  • 速度:操作过程中的速度大小分类
  • 加速度:运动分析的加速度大小分类

抓取器标注

  • 抓取器模式:抓取器开/关状态标注
  • 抓取器活动:活动状态分类(活动/非活动)

附加特征

  • 末端执行器仿真位姿:仿真空间中末端执行器的6D位姿信息(状态和动作)
  • 抓取器开度尺度:连续抓取器开度测量(状态和动作)

📂 数据划分

  • 训练集: 情节0-48

📁 数据集结构

数据文件

  • 视频: 包含RGB相机观察的压缩视频文件
  • 状态数据: 机器人关节位置、速度和其他状态信息
  • 动作数据: 机器人动作命令和轨迹
  • 元数据: 情节元数据、时间戳和标注

文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 分块: 数据组织为1个分块,大小为1000

特征架构

视觉观察

  • observation.images.cam_high_rgb: 视频 (480×640×3, 30fps, AV1编码)
  • observation.images.cam_left_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
  • observation.images.cam_right_wrist_rgb: 视频 (480×640×3, 30fps, AV1编码)
  • observation.images.cam_third_view: 视频 (480×640×3, 30fps, AV1编码)

状态和动作

  • observation.state: float32 (36维)
  • action: float32 (36维)

时间信息

  • timestamp: float32
  • frame_index: int64
  • episode_index: int64
  • index: int64
  • task_index: int64

标注

  • subtask_annotation: int32
  • scene_annotation: int32

运动特征

  • eef_sim_pose_state: float32 (12维)
  • eef_sim_pose_action: float32 (12维)
  • eef_direction_state: int32 (2维)
  • eef_direction_action: int32 (2维)
  • eef_velocity_state: int32 (2维)
  • eef_velocity_action: int32 (2维)
  • eef_acc_mag_state: int32 (2维)
  • eef_acc_mag_action: int32 (2维)

👥 作者

  • 贡献者: RoboCOIN - RoboCOIN团队

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 项目页面: https://flagopen.github.io/RoboCOIN/
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

🏷️ 数据集标签

  • RoboCOIN
  • LeRobot

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

  • v1.0.0 (2025-11): 初始发布
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作研究领域,AIRBOT_MMK2_mobile_phone_storage数据集采用扩展的LeRobot格式构建,确保了与现有框架的完全兼容性。该数据集通过AIRBOT_MMK2双手机器人执行移动电话存储任务,采集了49个完整操作片段,涵盖抓取、拾取和放置等基本动作。数据组织采用分块存储机制,将9492帧视觉与状态数据按1000帧为单位整合于Parquet文件中,并同步记录四路高清视频流,为机器人学习提供了结构化且可扩展的数据基础。
特点
该数据集在机器人操作数据中展现出多模态融合的显著特点,集成四路同步视频流包括高位视角、左右腕部视角及第三方视角,全面捕捉操作场景。其标注体系涵盖精细的子任务分割、末端执行器运动轨迹的六维位姿数据,以及速度加速度等动力学参数。特别值得注意的是,数据集提供了双手协同操作的完整状态与动作空间描述,包含36维关节控制信息,为复杂操作策略的学习提供了丰富的监督信号。
使用方法
研究人员可通过LeRobot框架直接加载该数据集,利用其标准化的数据接口访问多模态观测与动作序列。训练阶段可调用视觉观测、机器人状态及动作指令进行端到端策略学习,或基于细粒度标注开发分层控制模型。数据集支持从原始视频流到高层语义注解的多层次分析,适用于模仿学习、强化学习及行为克隆等多种算法验证,为双手机器人操作研究提供标准化评估基准。
背景与挑战
背景概述
在机器人操作领域,双手机器人系统的精细控制一直是研究热点。AIRBOT_MMK2_mobile_phone_storage数据集由RoboCOIN团队于2025年发布,作为RoboCOIN项目的重要组成部分,该数据集聚焦于家庭环境中的手机存储任务。通过AIRBOT_MMK2机器人平台与五指灵巧手的协同作业,数据集记录了完整的抓取、拾取、放置等原子动作序列,为双手机器人协调操作研究提供了真实场景下的多模态数据支撑。其基于LeRobot框架的扩展格式设计,确保了与现有机器人学习生态系统的无缝对接,推动了机器人操作技能从单一任务向复杂协作的范式转变。
当前挑战
该数据集致力于解决双手机器人精细操作中的动作协调与场景适应性难题。在任务层面,需要克服双手抓取时序同步、物体姿态精确感知、以及动态环境下的避障规划等核心挑战。数据构建过程中,多视角视频同步采集、高维状态动作空间标注、以及复杂机械臂与灵巧手的运动轨迹记录构成了主要技术瓶颈。特别是五指灵巧手的精细操作数据获取,需要解决多关节运动耦合与传感器噪声干扰等问题,同时保持长达9492帧数据的时间一致性,这对数据采集系统的稳定性和标注流程的严谨性提出了极高要求。
常用场景
经典使用场景
在机器人操作学习领域,该数据集通过记录双手机器人执行手机抓取与放置任务的完整过程,为模仿学习与强化学习算法提供了标准化的训练与评估基准。其多视角视觉观测与精细的动作标注能够有效支撑端到端策略网络的训练,特别是在复杂抓握姿态生成与任务序列规划方面展现出显著价值。
实际应用
在家庭服务机器人开发中,该数据集支撑了物品整理、智能收纳等实际功能的算法优化。其记录的双手协调操作模式为工业分拣、物流仓储等场景的自动化系统提供了技术参照,同时通过标准化操作流程促进了机器人技能迁移在医疗辅助、危险环境作业等领域的应用探索。
衍生相关工作
基于该数据集衍生的研究涵盖了多智能体协同操作、跨模态策略迁移等方向,其中RoboCOIN项目提出的分层强化学习框架与LeRobot生态中的行为克隆算法成为典型代表。这些工作通过利用数据集丰富的动作语义分割与状态轨迹,推动了机器人操作知识蒸馏与跨任务泛化理论的发展。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作