AgiBot-g1_box_storage_tool

AgiBot-g1_box_storage_tool数据集基于LeRobot扩展格式，与LeRobot完全兼容。该数据集使用AgiBot-g1机器人，代码库版本为v2.1，末端执行器类型为two_finger_gripper。数据集涵盖了家庭场景类型，包括抓取、放置和拾取等原子动作。数据集包含99个场景、32860帧、297个视频和1个任务。数据集大小为1.2GB，使用Apache-2.0许可证发布。

原始信息汇总

AgiBot-g1_box_storage_tool 数据集概述

数据集基本信息

• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 帧数范围: 10K-100K

机器人配置

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

数据集统计

指标	数值
总情节数	99
总帧数	32860
总任务数	1
总视频数	297
总分块数	1
分块大小	1000
帧率	30
数据集大小	1.2GB

任务描述

• 主要任务: 从包含电源线的盒子中拾取电源线并将其放入另一个盒子中
• 子任务:
  1. 异常
  2. 结束
  3. 抓取数据线
  4. 空
  5. 将数据线放入另一个盒子

数据特征

视觉观测

• 3个摄像头视角：高角度RGB、左手腕RGB、右手腕RGB
• 分辨率：480×640×3
• 帧率：30 FPS
• 编码：av1

状态与动作

• 观测状态: 17维浮点数（关节位置、夹爪状态）
• 动作: 17维浮点数（关节控制、夹爪控制）

标注信息

• 子任务标注: 细粒度子任务分割和标注
• 场景标注: 语义场景分类和描述
• 末端执行器标注: 方向、速度、加速度分类
• 夹爪标注: 模式（开/关）、活动状态（活动/非活动）

运动特征

• 末端执行器仿真位姿: 6D位姿信息（位置和方向）
• 夹爪开合尺度: 连续夹爪开合测量

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式，包含数据集完整信息

数据划分

• 训练集: 情节0-98

相关资源

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展
• 完全兼容LeRobot框架

贡献者

• RoboCOIN团队

引用信息

如需在研究中使用本数据集，请引用提供的BibTeX条目。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AgiBot-g1_box_storage_tool数据集基于LeRobot框架进行扩展构建，采用AgiBot-g1双指夹爪机器人执行家庭环境下的箱内数据线抓取与放置任务。数据采集通过三路高清摄像头同步记录，包含高位视角及左右腕部视角的RGB视频流，帧率统一为30fps。数据集以分块形式组织，将99个任务片段划分为单个数据块，每个片段包含完整的操作轨迹，最终形成总计32860帧、1.2GB规模的结构化数据。

特点

该数据集的核心特征体现在多模态标注体系的完整性，不仅包含机器人关节状态与动作指令的17维浮点数据，还集成了末端执行器的六维位姿、运动方向、速度加速度等精细运动特征。针对夹爪操作特性，专门提供了开合尺度、工作模式及活动状态的分类标注。通过子任务分割与场景语义标注，实现了从底层动作到高层任务的层次化表征，为模仿学习与强化学习算法提供了丰富的监督信号。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，数据文件采用标准化parquet格式存储，支持按片段索引快速读取。训练集涵盖0至98号完整操作片段，每个片段包含多路视频流、状态动作序列及对应标注。使用时应遵循Apache-2.0许可协议，通过加载meta/info.json获取元数据配置，依据指定路径模式访问视频文件与状态数据，实现端到端的机器人操作策略训练与验证。

背景与挑战

背景概述

在机器人操作学习领域，高质量数据集的构建对推动双手机器人精细操控能力的发展至关重要。AgiBot-g1_box_storage_tool数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于家庭环境中的物体转移任务，通过AgiBot-g1双手机器人采集了包含抓取、放置等原子操作的32860帧数据。其采用与LeRobot框架完全兼容的扩展格式，提供了多视角视觉观测、末端执行器运动轨迹及精细的抓取器状态标注，为模仿学习与强化学习算法研究提供了标准化数据基础。

当前挑战

该数据集致力于解决双手机器人协同操作中动态环境适应性与动作序列规划的复杂性挑战，具体任务要求机器人从指定箱体中抓取数据线并精准放置至另一容器。在构建过程中，研究人员需克服多模态数据同步采集的技术障碍，包括三路高清视频流与17维关节状态数据的实时对齐。此外，末端执行器六维位姿标注的精度保障、抓取器开合状态的连续量化，以及99个操作片段在家庭场景下的动作一致性维护，均为数据集构建带来显著挑战。

常用场景

经典使用场景

在机器人操作学习领域，AgiBot-g1_box_storage_tool数据集聚焦于家庭环境中的物体转移任务，通过双指夹爪执行抓取与放置的原子动作序列。该数据集以多视角视频流与高精度运动轨迹为特征，为模仿学习与强化学习算法提供了标准化的训练范本。其结构化标注体系支持从原始感知到动作生成的端到端策略学习，成为双臂协调操作研究的重要基准。

衍生相关工作

基于该数据集衍生的RoboCOIN框架建立了开放式双臂操作数据生态，其兼容LeRobot的格式标准催生了多任务迁移学习研究。相关成果推动了层次化强化学习在长时序任务中的应用，启发了基于物理先验的运动规划算法创新。后续研究进一步扩展了动态障碍物规避与多物体操作的联合建模，形成了机器人操作学习的技术演进脉络。

数据集最近研究

最新研究方向

在机器人操作学习领域，AgiBot-g1_box_storage_tool数据集正推动双手机器人精细操作研究的前沿发展。该数据集通过多视角视觉观测与丰富的末端执行器运动注解，为模仿学习与强化学习算法提供了高精度训练基础。当前研究聚焦于跨场景泛化能力的提升，结合LeRobot框架的兼容性，探索在家庭环境中动态抓取与放置任务的适应性策略。随着RoboCOIN项目开源生态的扩展，该数据集已成为双工协作机器人技能迁移研究的重要基准，为具身智能在真实场景中的部署奠定数据基石。