Agilex_Cobot_Magic_heat_sandwich

该数据集使用基于LeRobot的扩展格式，完全兼容LeRobot。

原始信息汇总

Agilex_Cobot_Magic_heat_sandwich 数据集概述

数据集基本信息

• 任务类别: 机器人学
• 语言: 英语
• 许可协议: Apache-2.0
• 数据集格式: 基于LeRobot的扩展格式，与LeRobot完全兼容

数据集描述

该数据集记录了名为“Agilex_Cobot_Magic”的双臂机器人执行加热三明治任务的演示数据。

任务概述

• 主要任务指令: 使用右夹爪打开微波炉，拿起三明治放入其中。使用左夹爪关闭微波炉门。使用右夹爪旋转微波炉按钮以加热三明治。然后打开微波炉，取出三明治并将其放在桌子上。再次使用左夹爪关闭微波炉。
• 场景类型: 家庭环境
• 涉及物体:
  • table(unknown)
  • microwave_oven(unknown)
  • plates(unknown)
  • sandwich(unknown)

机器人配置

• 机器人名称: Agilex_Cobot_Magic
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。

传感器信息

• 传感器列表:
  • cam_head_rgb
  • cam_right_wrist_rgb
  • cam_left_wrist_rgb
• 相机信息:
  • cam_head_rgb: dtype=video, shape=480x640x3, resolution=640x480, codec=h264, pix_fmt=yuv420p
  • cam_right_wrist_rgb: dtype=video, shape=480x640x3, resolution=640x480, codec=h264, pix_fmt=yuv420p
  • cam_left_wrist_rgb: dtype=video, shape=480x640x3, resolution=640x480, codec=h264, pix_fmt=yuv420p

坐标系与单位

• 坐标系定义: right-hand-frame
• 关节旋转单位: radian
• 末端执行器旋转单位: radian
• 末端执行器平移单位: meter

任务分解

子任务

数据集包含8个不同的子任务：

1. 右手：将盘子放在桌子上 (索引: 0)
2. 右手：按下开关 (索引: 1)
3. 右手：将盘子放入微波炉 (索引: 2)
4. 结束 (索引: 3)
5. 右手：旋转定时器按钮 (索引: 4)
6. 右手：抓取带有三明治的盘子 (索引: 5)
7. 左手：关闭微波炉门 (索引: 6)
8. null (索引: 7)

原子动作

• grasp
• lift
• lower
• pressbutton

数据集统计

指标	数值
总情节数	301
总帧数	979323
总任务数	8
总视频数	903
总数据块数	1
数据块大小	10000
帧率	30
状态维度	26
动作维度	26
相机视角数	3
数据集大小	47.95 GB

数据划分

• 训练集: 情节 0:300

数据结构

文件组织

• 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式: videos/chunk-{id}/observation.images.cam_right_wrist_rgb/episode_{id}.mp{id}
• 分块: 数据被组织成1个数据块，每个块大小为10000

目录结构

Agilex_Cobot_Magic_heat_sandwich_qced_hardlink/ |-- annotations | |-- eef_acc_mag_annotation.jsonl | |-- eef_direction_annotation.jsonl | |-- eef_velocity_annotation.jsonl | |-- gripper_activity_annotation.jsonl | |-- gripper_mode_annotation.jsonl | |-- scene_annotations.jsonl | -- subtask_annotations.jsonl |-- data | -- chunk-000 | |-- episode_000000.parquet | |-- episode_000001.parquet | |-- episode_000002.parquet | |-- episode_000003.parquet | |-- episode_000004.parquet | |-- episode_000005.parquet | |-- episode_000006.parquet | |-- episode_000007.parquet | |-- episode_000008.parquet | |-- episode_000009.parquet | |-- episode_000010.parquet | -- episode_000011.parquet | -- ... (289 more entries) |-- meta | |-- episodes.jsonl | |-- episodes_stats.jsonl | |-- info.json | -- tasks.jsonl -- videos -- chunk-000 |-- observation.images.cam_head_rgb |-- observation.images.cam_left_wrist_rgb -- observation.images.cam_right_wrist_rgb

数据特征

动作特征

• 数据类型: float32
• 形状: [26]
• 包含: 左臂6个关节角度、左末端执行器位置（x, y, z）、左末端执行器欧拉角旋转（x, y, z）、左夹爪开合状态、右臂6个关节角度、右末端执行器位置（x, y, z）、右末端执行器欧拉角旋转（x, y, z）、右夹爪开合状态

状态观测特征

• 数据类型: float32
• 形状: [26]
• 包含: 与动作特征相同的26个状态变量

图像观测特征

• 三个相机视角: cam_head_rgb, cam_right_wrist_rgb, cam_left_wrist_rgb
• 数据类型: video
• 形状: [480, 640, 3]
• 帧率: 30.0
• 编码: h264
• 像素格式: yuv420p

其他特征

• 时间戳: float32, shape [1]
• 帧索引: int64, shape [1]
• 情节索引: int64, shape [1]
• 索引: int64, shape [1]
• 任务索引: int64, shape [1]
• 子任务标注: int32, shape [5]
• 场景标注: int32, shape [1]
• 末端执行器仿真姿态状态/动作: float32, shape [12]
• 末端执行器方向状态/动作: int32, shape [2]
• 末端执行器速度状态/动作: int32, shape [2]
• 末端执行器加速度幅度状态/动作: int32, shape [2]
• 夹爪模式状态/动作: int32, shape [2]
• 夹爪活动状态/动作: int32, shape [2]
• 夹爪开合尺度状态/动作: float32, shape [2]

可用标注

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

数据集标签

• RoboCOIN
• LeRobot

作者与贡献者

• 贡献者: 北京智源人工智能研究院的RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

引用要求

使用此数据集时，请引用相关论文： bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }

同时请考虑引用LeRobot框架：https://github.com/huggingface/lerobot

版本信息

• 初始发布