five

AgiBot-g1_box_storage_cardboard_box_c

收藏
Hugging Face2025-11-29 更新2025-11-30 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/AgiBot-g1_box_storage_cardboard_box_c
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集基于LeRobot格式,包含丰富的场景类型和原子动作,如放置、拾取和抓取。数据集统计信息显示,总共有476个剧集,230771个帧,1个任务,3808个视频和109.0GB的数据量。数据集结构遵循LeRobot格式,包括视频、状态数据和动作数据。此外,数据集还提供了丰富的注释和特征,以支持不同的学习方法。
创建时间:
2025-11-19
原始信息汇总

AgiBot-g1_box_storage_cardboard_box_c 数据集概述

基本信息

  • 数据集名称: AgiBot-g1_box_storage_cardboard_box_c
  • 许可证: Apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人技术
  • 标签: RoboCOIN, LeRobot
  • 帧数范围: 100K-1M

技术规格

  • 机器人类型: AgiBot-g1
  • 代码库版本: v2.1
  • 末端执行器类型: 两指夹爪
  • 帧率: 30 FPS
  • 数据集大小: 109.0GB

场景与动作

场景类型

  • 家庭环境

原子动作

  • 放置
  • 拾取
  • 抓取

数据集统计

指标 数值
总情节数 476
总帧数 230771
总任务数 1
总视频数 3808
总分块数 1
分块大小 1000

任务描述

主要任务

使用机械臂拾取纸箱并将其放入纸盒中

子任务

  1. 拾取鼠标和电源线纸盒
  2. 将鼠标和电源线纸盒放入容器中

数据采集

相机视图

  • 包含8个相机视图
  • 所有视频使用AV1编解码器
  • 帧率统一为30 FPS

视觉观测

  • observation.images.cam_high_rgb: 720×1280分辨率
  • observation.images.cam_left_wrist_rgb: 480×848分辨率
  • observation.images.cam_right_wrist_rgb: 480×848分辨率
  • observation.images.cam_back_left_fisheye_rgb: 1536×1920分辨率
  • observation.images.cam_back_right_fisheye_rgb: 1536×1920分辨率
  • observation.images.cam_high_center_fisheye_rgb: 1536×1920分辨率
  • observation.images.cam_high_left_fisheye_rgb: 1536×1920分辨率
  • observation.images.cam_high_right_fisheye_rgb: 1536×1920分辨率

注释信息

子任务注释

  • 细粒度子任务分割和标注

场景注释

  • 语义场景分类和描述

末端执行器注释

  • 运动方向分类
  • 速度幅度分类
  • 加速度幅度分类

夹爪注释

  • 开/关状态标注
  • 活动状态分类

附加特征

  • 末端执行器仿真姿态(6D姿态信息)
  • 夹爪开口尺度(连续测量)

数据分割

  • 训练集: 情节0-475

文件结构

AgiBot-g1_box_storage_cardboard_box_c_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_back_left_fisheye_rgb/ ├── observation.images.cam_back_right_fisheye_rgb/ ├── observation.images.cam_high_center_fisheye_rgb/ ├── observation.images.cam_high_left_fisheye_rgb/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_high_right_fisheye_rgb/ ├── observation.images.cam_left_wrist_rgb/ └── observation.images.cam_right_wrist_rgb/

相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据集构建领域,AgiBot-g1_box_storage_cardboard_box_c数据集采用基于LeRobot框架的扩展格式进行系统构建。该数据集通过AgiBot-g1型双臂机器人执行纸箱存储任务,采集了476个完整操作片段,总计230,771帧数据。数据组织采用分块存储机制,将1000个片段划分为一个数据块,通过8个不同视角的摄像头以30帧/秒的速率同步记录机器人操作过程。所有数据以Parquet格式存储,确保了数据的高效读取和兼容性。
特点
该数据集在机器人操作数据领域展现出显著的多模态特征,集成了丰富的视觉观测与运动控制信息。视觉数据涵盖8个不同视角的RGB视频流,包括高位摄像头、腕部摄像头和鱼眼摄像头等多种传感器配置。运动特征方面提供了完整的末端执行器位姿、速度、加速度等多维度数据,以及夹爪开合状态和活动模式的精细标注。特别值得注意的是数据集包含详细的子任务分割标注和场景语义分类,为复杂操作任务的层次化学习提供了坚实基础。
使用方法
在机器人学习研究应用中,该数据集支持端到端的模仿学习与强化学习算法开发。研究人员可通过标准化的数据加载接口访问多模态观测数据,包括视觉输入、机器人状态和动作指令。数据集采用LeRobot兼容格式,便于直接集成到现有机器人学习框架中。使用过程中可依据episode索引加载特定操作片段,通过时间戳和帧索引实现精确的数据对齐。对于模型训练,建议利用其丰富的标注信息进行分层任务学习,充分发挥多视角视觉与精细运动控制的协同作用。
背景与挑战
背景概述
在机器人操作领域,双手机器人系统的复杂任务执行一直是研究重点。AgiBot-g1_box_storage_cardboard_box_c数据集由RoboCOIN团队于2025年发布,作为RoboCOIN项目的重要组成部分,专注于家庭环境中的纸箱存储任务。该数据集基于LeRobot框架构建,包含476个任务片段和超过23万帧数据,通过八路相机视角和丰富的动作标注,为机器人抓取、放置等基础操作提供了标准化实验平台。其核心研究价值在于推动双手机器人在非结构化环境中的自主操作能力,对服务机器人及物流自动化领域具有显著影响力。
当前挑战
该数据集致力于解决家庭场景中双手机器人执行物体搬运任务的泛化性问题,主要挑战包括多视角视觉感知的时空对齐、双机械臂协同运动的动作规划复杂度,以及抓取过程中力学反馈与视觉信息的融合。在构建过程中,面临数据采集系统同步八路高清视频流的计算负载、双机械臂轨迹标注的一致性验证,以及109GB大规模多模态数据的存储与检索效率等工程难题。这些挑战直接关系到机器人操作策略在真实环境中的迁移效果与稳定性。
常用场景
经典使用场景
在机器人操作学习领域,该数据集聚焦于家庭环境中的纸箱存储任务,通过476个完整交互片段和23万帧多视角视觉数据,为模仿学习与强化学习算法提供了标准化的训练基准。其核心价值在于完整记录了双指夹爪执行拾取、放置等基础操作的轨迹序列,涵盖从视觉感知到动作执行的完整闭环,成为评估机器人操作策略泛化能力的经典测试平台。
实际应用
在工业物流与家庭服务机器人领域,该数据集支撑的算法已应用于自动化仓储分拣系统,实现纸箱类物品的精准抓取与规整堆放。其提供的多相机视角数据有效提升了现实场景中物体定位的鲁棒性,而丰富的力学状态标注则为安全抓取控制策略的部署提供了关键参数依据。
衍生相关工作
基于该数据集衍生的RoboCOIN项目构建了开放式双臂机器人操作基准,催生了多项关于多任务联合训练、跨领域策略迁移的创新研究。其与LeRobot框架的深度兼容特性,进一步推动了如动作条件生成模型、时空注意力机制等前沿方法在机器人操作领域的应用与验证。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作