Agilex_Split_Aloha_organize_desk_fail

该数据集是一个基于LeRobot格式的机器人操作任务数据集，专注于桌面物品整理任务。数据集包含117个完整操作片段，总计274558帧视频数据，大小4.17GB。使用名为'Agilex_Cobot_Magic'的机器人，配备双指夹爪末端执行器，通过头部和左右腕部三个RGB摄像头(分辨率640x480)采集数据。主要任务描述为：手动取出空笔筒，将牛奶和可乐放入左侧篮子，将笔筒逐个放在中间，然后将纸张逐个放入右侧盒子。数据集包含20个子任务和3种基本动作(抓取、拾取、放置)，提供丰富的状态数据(26维)和动作数据(26维)标注，以及场景和物体标注。数据组织采用分块存储(1个块，每块1000条)，遵循LeRobot的数据结构规范。

原始信息汇总

数据集概述

基本描述

• 数据集名称: Agilex_Cobot_Magic_Agilex_Split_Aloha_organize_desk_fail
• 任务类别: 机器人学
• 语言: 英语
• 格式: 基于LeRobot的扩展格式，完全兼容LeRobot。
• 许可协议: Apache-2.0
• 标签: RoboCOIN, LeRobot

数据集统计

指标	数值
总情节数	117
总帧数	274558
总任务数	20
总视频数	351
总数据块数	1
数据块大小	1000
帧率	30
状态维度	26
动作维度	26
相机视角数	3
数据集大小	4.17 GB

任务与场景

• 主要任务指令: 用手取出空的笔筒，然后将牛奶和可乐放入左边的篮子。将笔筒一个一个地放在中间，再将纸张一张一张地放入右边的盒子。
• 场景类型: 家庭->客厅
• 操作对象:
  • table(unknown)
  • basket(unknown)
  • pen_holder(unknown)
  • storage_box(unknown)
  • cola(unknown)
  • milk(unknown)
  • pen(unknown)
  • toilet_paper(unknown)
• 子任务: 包含20个不同的子任务，涉及使用左/右夹爪抓取和放置红色、橙色、黑色记号笔、可乐罐、牛奶、废纸等物品。
• 原子动作: grasp, pick, place

机器人配置

• 机器人名称: Agilex_Cobot_Magic
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 遥操作类型: 由于某些原因，此数据集暂时无法提供遥操作类型信息。
• 操作类型: 由于某些原因，此数据集暂时无法提供操作类型信息。
• 环境类型: 由于某些原因，此数据集暂时无法提供环境类型信息。

硬件与传感器

• 传感器:
  • cam_head_rgb
  • cam_left_wrist_rgb
  • cam_right_wrist_rgb
• 相机信息:
  • 所有相机: dtype=video, shape=480x640x3, 分辨率=640x480, 编码=av1, 像素格式=yuv420p
• 坐标系: right-hand-frame
• 维度与单位:
  • 关节旋转: radian
  • 末端执行器旋转: radian
  • 末端执行器平移: meter

数据结构与组织

• 数据文件模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件模式: videos/chunk-{id}/observation.images.cam_left_wrist_rgb/episode_{id}.mp{id}
• 数据划分: 所有117个情节（0:116）均用于训练。
• 目录结构:
  • annotations/: 包含末端执行器加速度、方向、速度、夹爪活动、夹爪模式、场景、子任务等注释文件。
  • data/chunk-000/: 包含117个情节的Parquet数据文件。
  • meta/: 包含情节、统计、信息和任务的元数据文件。
  • videos/chunk-000/: 包含三个相机视角的视频文件。

特征字段

数据集包含以下主要特征字段，具体细节见README中的YAML描述：

• observation.images.cam_head_rgb: 视频，480x640x3
• observation.images.cam_left_wrist_rgb: 视频，480x640x3
• observation.images.cam_right_wrist_rgb: 视频，480x640x3
• observation.state: 浮点32，形状[26]，包含左/右机械臂关节角度、夹爪开合、末端执行器位置和欧拉角。
• action: 浮点32，形状[26]，结构与observation.state对应。
• timestamp, frame_index, episode_index, index, task_index
• 多种注释字段：如eef_sim_pose_state/action, eef_direction_state/action, gripper_mode_state/action等。

可用注释

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl
• scene_annotations.jsonl
• subtask_annotations.jsonl

作者与链接

• 贡献者: 北京智源人工智能研究院的RoboCOIN团队。
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码仓库: https://github.com/FlagOpen/RoboCOIN

引用要求

使用此数据集需引用相关论文，并考虑引用LeRobot框架。 bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025}, }