AgiBot-g1_box_storage_cardboard_box_a

AgiBot-g1_box_storage_cardboard_box_a数据集是基于LeRobot扩展格式的，并与LeRobot完全兼容。数据集包含使用AgiBot-g1机器人类型，代码库版本为v2.1，使用的是两个手指的抓取器。数据集的场景类型包括家庭环境。原子动作包括放置、拾取和抓取。数据集包括402个剧集，188369帧，3216个视频，以及丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓取器模式和活动状态等。数据集被分为训练集和测试集，并且以Parquet格式存储在chunk文件夹中。视频以MP4格式存储在videos文件夹中。

原始信息汇总

AgiBot-g1_box_storage_cardboard_box_a 数据集概述

基本信息

• 数据集名称: AgiBot-g1_box_storage_cardboard_box_a
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 帧数范围: 100K-1M

机器人配置

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: 二指夹爪

场景与动作

场景类型

• 家庭环境

原子动作

• 放置
• 抓取
• 拾取

数据集统计

指标	数值
总情节数	402
总帧数	188369
总任务数	1
总视频数	3216
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	87.9GB

任务描述

主要任务

使用机械臂拾取纸箱并将其放入纸盒中

子任务

1. 无
2. 拾取鼠标和电源线纸盒
3. 将鼠标和电源线纸盒放入容器中

数据特征

视觉观测

• 8个相机视角，包括：
  • 高位RGB相机
  • 左右腕部RGB相机
  • 多个鱼眼相机

状态与动作

• 状态: 41维浮点数组（关节位置、末端位置、姿态等）
• 动作: 34维浮点数组（关节控制、末端控制等）

标注信息

• 子任务分割标注
• 场景级描述
• 末端执行器运动分析（方向、速度、加速度）
• 夹爪状态（模式、活动状态、开合尺度）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，AV1编码
• 元数据: JSON格式

数据分割

• 训练集: 情节0-401

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展
• 完全兼容LeRobot框架

引用信息

如需使用本数据集，请引用相关论文和LeRobot框架。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，本数据集采用AgiBot-g1双指夹爪机器人系统，基于LeRobot框架的扩展格式构建而成。数据采集过程涵盖家庭环境场景，通过402个完整操作片段记录了纸箱搬运任务的执行过程，总计包含188,369帧视觉数据。数据以分块形式组织，每个数据块包含1000个操作片段，所有视频数据以AV1编码格式存储，帧率统一为30fps，确保了数据采集的系统性和完整性。

特点

该数据集在机器人操作数据领域展现出多维度的技术特征。视觉观测系统配备8个不同视角的摄像头，包括高位RGB摄像头、左右腕部摄像头以及多个鱼眼摄像头，提供720p至1536p不同分辨率的视觉信息。数据集包含丰富的动作标注体系，涵盖末端执行器位姿、速度、加速度等运动参数，以及夹爪开合状态与活动模式等精细控制信息。特别值得注意的是，数据集提供了完整的仿真空间位姿信息，支持对机器人操作过程的深度分析与算法验证。

使用方法

在机器人学习研究应用中，该数据集支持端到端的操作策略训练与验证。研究者可通过标准的LeRobot数据加载接口访问数据集，数据文件采用Parquet格式存储，视频文件按操作片段分目录组织。训练集包含0至401号操作片段，用户可根据任务需求提取视觉观测、状态信息和动作指令。数据集提供的丰富标注信息支持多层次的学习任务，包括操作技能模仿、动作序列预测以及多模态感知融合等研究方向，为机器人操作算法的开发提供了全面的实验基础。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的精细化控制一直是研究热点。AgiBot-g1_box_storage_cardboard_box_a数据集由RoboCOIN团队于2025年发布，聚焦于家庭环境中的纸箱搬运任务。该数据集基于LeRobot框架扩展构建，包含402个完整操作序列，涵盖抓取、放置等基础动作，通过八路相机视角与多维运动标注，为双臂协同操作研究提供了高精度基准数据。其核心价值在于推动机器人对非结构化环境中物体操作的泛化能力研究，对服务机器人及物流分拣等应用领域具有重要参考意义。

当前挑战

该数据集致力于解决双臂机器人对可变性物体的精细化操作问题，其核心挑战包括多视角视觉信息与运动轨迹的时空对齐、不同材质纸箱抓取力的自适应控制，以及长时序操作中动作链的误差累积。在构建过程中，面临高维度传感器数据同步采集的技术瓶颈，87.9GB多模态数据需要保持毫秒级时序一致性；同时，双臂运动学约束下的动作标注需要平衡精度与效率，鱼眼相机畸变校正与末端执行器位姿标定亦增加了数据清洗的复杂度。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家庭环境中的纸箱搬运任务，通过双指夹爪执行拾取与放置等基础动作。其经典应用体现在为模仿学习算法提供丰富的多视角视觉数据与精细的动作轨迹标注，使机器人能够学习从不同角度感知物体并完成精确抓取。数据集包含的402个完整操作序列为动作分割与策略优化研究提供了标准化基准。

实际应用

在工业物流与家庭服务机器人领域，该数据集支撑的算法能直接应用于自动化仓储系统中的货物分拣作业。基于数据训练的模型可指导双臂机器人完成纸箱类物品的精准抓取与码放，显著提升物流效率。在智能家居场景中，这类技术能延伸至日常物品整理、餐具收纳等任务，为服务机器人进入家庭环境提供关键的技术验证平台。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的多模态融合框架，其通过联合学习视觉观察与动作序列提升了操作策略的鲁棒性。LeRobot生态系统中开发的层次化模仿学习算法利用该数据实现了复杂任务的分解与执行。相关研究还催生了面向动态抓取的元学习方法和基于物理仿真的动作迁移技术，为机器人操作社区提供了可复现的基准与算法迭代基础。