AgiBot-g1_storage_item_b

AgiBot-g1_storage_item_b 是一个基于 LeRobot 格式的机器人数据集，它完全兼容 LeRobot。该数据集使用 AgiBot-g1 型号的机器人，代码库版本为 v2.1，末端执行器为两指夹持器。数据集包含工厂场景，并包括抓取、放置和拾取等基本动作。数据集包含 106 个剧集，48184 帧，1 个任务，848 个视频，1 个数据块，每个块大小为 1000 帧，帧率为 30，数据集大小为 21.3GB。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器运动方向、速度和加速度分类、夹持器模式和活动状态等。数据集分为训练集和测试集，结构清晰，易于使用。

原始信息汇总

AgiBot-g1_storage_item_b 数据集概述

📋 基本信息

• 数据集名称: AgiBot-g1_storage_item_b
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN、LeRobot
• 帧数范围: 10K-100K

🤖 机器人配置

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

🏠 场景类型

• 工厂场景

🎯 任务描述

主要任务

抓取左侧数据线放入盒子，抓取右侧鼠标放入盒子

子任务

1. 空任务
2. 将鼠标和电源线放入盒子
3. 同时从配件包装区域拿起鼠标和电源线

📊 数据集统计

指标	数值
总情节数	106
总帧数	48184
总任务数	1
总视频数	848
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	21.3GB

🎥 视觉数据

• 相机视角数量: 8个
• 视频编码: AV1
• 帧率: 30 FPS

相机配置

• observation.images.cam_high_rgb (720×1280)
• observation.images.cam_left_wrist_rgb (480×848)
• observation.images.cam_right_wrist_rgb (480×848)
• observation.images.cam_back_left_fisheye_rgb (1536×1920)
• observation.images.cam_back_right_fisheye_rgb (1536×1920)
• observation.images.cam_high_center_fisheye_rgb (1536×1920)
• observation.images.cam_high_left_fisheye_rgb (1536×1920)
• observation.images.cam_high_right_fisheye_rgb (1536×1920)

🏷️ 可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开合尺度（连续测量值）

📂 数据划分

• 训练集: 情节0-105

📁 数据结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

目录结构

AgiBot-g1_storage_item_b_qced_hardlink/ ├── annotations/ # 标注文件 ├── data/ # 数据文件 ├── meta/ # 元数据 └── videos/ # 视频文件

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

• RoboCOIN团队

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AgiBot-g1_storage_item_b数据集采用基于LeRobot框架的扩展格式构建，确保了与主流机器人学习平台的完全兼容性。该数据集通过AgiBot-g1双指夹爪机器人系统，在工厂场景下系统采集了106个完整操作片段，涵盖抓取、放置和拾取等基础操作动作。数据组织采用分块存储机制，将48184帧操作数据按1000帧为单位划分为1个数据块，所有视觉数据均以30帧率的高清视频格式保存，总容量达21.3GB。

特点

该数据集在机器人操作数据领域展现出多模态融合的显著特点，集成了8个不同视角的视觉观测系统，包括高分辨率RGB摄像头和鱼眼镜头，提供720p至1536p的多尺度视觉信息。数据集标注体系极为丰富，不仅包含末端执行器的6D位姿、运动方向、速度和加速度等运动学参数，还详细记录了夹爪开合状态、活动模式等精细控制信息。特别值得关注的是，数据集提供了状态与动作的双重标注，为模仿学习和强化学习算法提供了完整的训练基础。

使用方法

在机器人学习研究实践中，该数据集可通过标准的LeRobot数据加载接口直接调用，支持从视觉观测到动作生成的端到端训练流程。研究人员可利用数据集提供的多视角视频流、机器人状态信息和动作指令，构建基于深度学习的操作策略模型。数据集采用Parquet格式存储，配合清晰的目录结构设计，便于批量读取和处理。训练集包含0至105号全部操作片段，可直接用于模型训练，而丰富的标注信息支持细粒度的任务分解和动作分析。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人系统的精细化控制一直是学术界与工业界关注的焦点。AgiBot-g1_storage_item_b数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于工厂场景下的物品抓取与放置任务。通过集成8个多视角视觉传感器与双指夹爪的完整运动轨迹记录，该数据集为研究双臂协调操作、精细抓取策略等核心问题提供了高达48184帧的多模态数据支撑，其与LeRobot框架的完全兼容性进一步推动了机器人学习算法的标准化进程。

当前挑战

该数据集致力于解决机器人操作中双臂协同控制的复杂性问题，其核心挑战在于多模态数据的时间同步与空间对齐，特别是8路高清视频流与41维状态数据的实时匹配。构建过程中面临传感器标定误差累积、双机械臂运动学参数标定、以及工厂环境下光照变化对视觉数据质量的干扰。此外，21.3GB大规模数据的存储优化与高效读取机制，以及夹爪开合尺度连续测量数据的噪声过滤，均为数据集构建过程中需要克服的技术难点。

常用场景

经典使用场景

在机器人操作学习领域，AgiBot-g1_storage_item_b数据集为双手臂抓取与放置任务提供了标准化实验平台。该数据集聚焦工厂场景下的物品整理任务，通过记录两指夹爪对数据线和鼠标等小型物品的抓取、拾取和放置动作，构建了完整的操作序列。其多视角视觉观测与精细的动作标注为模仿学习算法提供了丰富的训练样本，特别适用于研究双手协调操作中的时序动作规划问题。

解决学术问题

该数据集有效解决了机器人操作学习中的若干关键问题，包括双手臂协同控制的动作表征学习、基于视觉的精细操作策略优化以及长时序任务的分段理解。通过提供端到端仿真位姿、夹爪状态和运动学参数等多维标注，显著降低了机器人操作策略从仿真到实物的迁移难度。其丰富的子任务标注体系为分层强化学习等前沿方法提供了结构化数据支撑，推动了机器人操作智能的算法创新。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的多模态操作学习框架，以及融合LeRobot生态的跨任务迁移学习方法。这些工作通过利用数据集中的精细运动标注开发了新型动作分割算法，并在双手协调操作策略生成方面取得突破。相关成果进一步催生了基于物理仿真的操作技能迁移研究，为构建通用机器人操作基础模型提供了重要数据支撑。