AgiBot-g1_picks_up_cardboard_box

该数据集基于LeRobot格式，并与之完全兼容。数据集包括机器人操作任务，特别是捡起一个小纸箱并将其放入一个大纸箱中。它包括子任务、场景、末端执行器和夹具的各种注释。数据集被组织成块，并包括视频、状态数据、操作数据和元数据。

This dataset is based on and fully compatible with the LeRobot format. It covers robotic manipulation tasks, particularly the task of picking up a small cardboard box and placing it into a larger one. It includes detailed annotations for subtasks, scenarios, end-effectors and grippers. The dataset is structured into chunks, and comprises video data, state data, manipulation data and metadata.

原始信息汇总

AgiBot-g1_picks_up_cardboard_box 数据集概述

基本信息

• 数据集名称: AgiBot-g1_picks_up_cardboard_box
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 框架范围: 100K-1M

机器人配置

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper

场景与动作

• 场景类型: home
• 原子动作: place, pick, grasp

数据集统计

指标	数值
总情节数	277
总帧数	149409
总任务数	1
总视频数	2216
总分块数	1
分块大小	1000
帧率	30
数据集大小	59.5GB

任务描述

• 主要任务: 拾取小纸箱并将其装入大纸箱
• 子任务:
  1. End
  2. Grasp the paper box
  3. null
  4. Pick up the mouse and power cord box
  5. Place the mouse and power cord box into the case
  6. Place the paper box in the another big box

数据特征

视觉观测

• 8个相机视角:
  • cam_high_rgb (720×1280)
  • cam_left_wrist_rgb (480×848)
  • cam_right_wrist_rgb (480×848)
  • cam_high_center_fisheye_rgb (1536×1920)
  • cam_high_left_fisheye_rgb (1536×1920)
  • cam_high_right_fisheye_rgb (1536×1920)
  • cam_back_left_fisheye_rgb (1536×1920)
  • cam_back_right_fisheye_rgb (1536×1920)

状态与动作

• observation.state: 41维浮点数组
• action: 34维浮点数组

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 模式、活动状态、开合尺度

数据组织

• 数据格式: 基于LeRobot的扩展格式
• 文件组织:
  • 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据划分

• 训练集: 情节0-276

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，AgiBot-g1_picks_up_cardboard_box数据集通过AgiBot-g1双指抓取机器人在家庭环境中执行纸箱搬运任务构建而成。数据采集采用多视角视觉系统，包含8个不同角度的摄像头，以30帧率记录149,409帧操作序列。数据以LeRobot扩展格式组织，将277个操作片段划分为统一大小的数据块，通过并行处理实现59.5GB大规模数据的标准化存储。

特点

该数据集在机器人操作任务中展现出多模态特性，不仅包含8路高清视频流，还提供完整的机器人状态与动作数据。其特色在于精细的末端执行器运动标注，涵盖位姿、速度、加速度等多维运动特征，以及抓取器开合状态与活动模式的完整记录。数据集通过细粒度子任务分割和场景语义标注，为复杂操作任务的层次化学习提供了结构化支持。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，利用其标准化的parquet文件格式和视频存储结构。数据集支持从多视角视觉输入到机器人动作输出的端到端训练，丰富的运动标注可用于模仿学习、强化学习等多种算法验证。用户可依据子任务标注进行分段训练，或利用完整的时空序列数据开发长时程操作策略模型。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的精细化控制一直是研究热点。AgiBot-g1_picks_up_cardboard_box数据集由RoboCOIN团队于2025年11月发布，聚焦于家庭环境中的物体抓取与放置任务。该数据集基于LeRobot框架扩展构建，包含277个完整操作序列，涵盖抓取、放置等基础动作，通过8个多视角摄像头与丰富的末端执行器运动标注，为双手机器人协同操作研究提供了高精度数据支撑。其核心研究目标在于解决复杂场景下机器人对非结构化物体的动态抓取与精准放置问题，对推动服务机器人实用化进程具有显著意义。

当前挑战

该数据集致力于攻克双手机器人操作中的多模态感知与运动规划难题。具体挑战包括：在领域问题层面，需解决多视角视觉信息融合、双臂运动轨迹避碰、以及抓取力度自适应控制等关键问题；在构建过程中，面临大规模多传感器数据同步采集、高维度动作空间标注一致性、以及真实家居环境动态干扰等工程挑战。此外，59.5GB数据量的存储优化与多模态特征对齐亦构成重要技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家庭环境中的物品抓取与放置任务，通过双指夹爪执行拾取纸箱的核心动作序列。其经典应用体现在为模仿学习算法提供结构化示范数据，涵盖从视觉感知到运动控制的完整操作链条。多视角视频流与精细的动作标注使研究者能够训练机器人理解抓取力度、运动轨迹等关键参数，为复杂操作任务的序列决策建立可靠基准。

实际应用

在家庭服务机器人领域，该数据集支撑的算法可直接应用于物流分拣、家居整理等实际场景。通过模拟真实家庭环境中的纸箱搬运任务，为开发适应非结构化环境的操作系统提供关键训练数据。其双机械臂协同操作范式对工业自动化中的零件装配、仓储管理具有重要参考价值，推动机器人从实验室向实际应用场景的平稳过渡。

衍生相关工作

基于该数据集衍生的研究主要围绕RoboCOIN框架展开，催生了多智能体协同操作、跨模态动作生成等创新方向。其兼容LeRobot的特性促进了开源机器人社区的算法迭代，涌现出基于注意力机制的动作预测模型、结合强化学习的自适应抓取策略等经典工作。这些研究共同构建了从数据采集到算法部署的完整技术生态，持续推动双臂机器人操作技术的边界拓展。