AgiBot-g1_box_storage_cardboard_box_b

AgiBot-g1_box_storage_cardboard_box_b 是一个基于 LeRobot 格式的机器人数据集，用于机器人臂的抓取和放置任务。数据集包括抓取、放置和抓握等原子动作，并提供了丰富的注释信息，如子任务分割、场景描述、末端执行器方向、速度、加速度等。数据集还包含了 8 个摄像头视角的视频数据和 1 个数据块，每个数据块包含 1000 个数据点。数据集以 Parquet 格式组织，总大小为 56.9GB，共有 247 个场景，115,855 个帧，1976 个视频，并且支持 30 帧每秒的帧率。

原始信息汇总

AgiBot-g1_box_storage_cardboard_box_b 数据集概述

基本信息

• 数据集名称: AgiBot-g1_box_storage_cardboard_box_b
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 帧范围: 100K-1M

机器人配置

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper

场景与动作

• 场景类型: home
• 原子动作: place, pick, grasp

数据集统计

指标	数值
总片段数	247
总帧数	115855
总任务数	1
总视频数	1976
总分块数	1
分块大小	1000
帧率	30
数据集大小	56.9GB

任务描述

• 主要任务: 使用机械臂拾取纸箱并将其放置到纸盒中
• 子任务:
  1. null
  2. 拾取鼠标和电源线纸盒
  3. 将鼠标和电源线纸盒放入容器中

数据采集

• 相机视角: 8个
• 视频编码: av1
• 帧率: 30 FPS

数据标注

子任务标注

• 子任务分割: 细粒度的子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器的运动方向分类
• 速度: 操作过程中的速度大小分类
• 加速度: 运动分析的加速度大小分类

夹爪标注

• 夹爪模式: 夹爪开/闭状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息（状态和动作）
• 夹爪开合尺度: 连续的夹爪开合测量（状态和动作）

数据分割

• 训练集: 片段0:246

数据集结构

文件组织

• 数据文件模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个分块，每个分块大小1000

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频 (720×1280)
• observation.images.cam_left_wrist_rgb: 视频 (480×848)
• observation.images.cam_right_wrist_rgb: 视频 (480×848)
• observation.images.cam_high_center_fisheye_rgb: 视频 (1536×1920)
• observation.images.cam_high_left_fisheye_rgb: 视频 (1536×1920)
• observation.images.cam_high_right_fisheye_rgb: 视频 (1536×1920)
• observation.images.cam_back_left_fisheye_rgb: 视频 (1536×1920)
• observation.images.cam_back_right_fisheye_rgb: 视频 (1536×1920)

状态与动作

• observation.state: float32 (41维)
• action: float32 (34维)

时间信息

• timestamp, frame_index, episode_index, index, task_index

目录结构

AgiBot-g1_box_storage_cardboard_box_b_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_back_left_fisheye_rgb/ ├── observation.images.cam_back_right_fisheye_rgb/ ├── observation.images.cam_high_center_fisheye_rgb/ ├── observation.images.cam_high_left_fisheye_rgb/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_high_right_fisheye_rgb/ ├── observation.images.cam_left_wrist_rgb/ └── observation.images.cam_right_wrist_rgb/

作者与链接

• 贡献者: RoboCOIN Team
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术特性

• 基于LeRobot格式扩展并完全兼容
• 包含丰富的机器人状态和动作数据
• 提供多视角视觉观测
• 包含详细的运动学和动力学标注

版本信息

• 初始版本: v1.0.0 (2025-11)

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AgiBot-g1_box_storage_cardboard_box_b数据集通过AgiBot-g1双指抓取机器人在家庭场景中执行纸箱存储任务构建而成。该数据集采用基于LeRobot框架的扩展格式，包含247个完整操作序列，总计115,855帧30fps的多视角视频数据。数据以分块形式组织为Parquet文件，每个块容纳1000个操作片段，通过8个不同视角的摄像头同步记录抓取、放置等原子动作的完整轨迹。

特点

该数据集的核心特征体现在多模态数据融合与精细化动作标注体系。八路摄像头覆盖高分辨率全局视角、腕部视角及鱼眼视角，配合41维机器人状态向量与34维动作指令构成时空对齐的观测体系。其标注系统囊括末端执行器的六维位姿、运动方向、速度加速度分类，以及抓取器开合尺度与活动状态等多层次语义信息。这种结构为研究双臂协调操作与精细物体操控提供了完整的感知-动作关联基准。

使用方法

基于LeRobot兼容性设计，研究者可通过标准数据加载接口直接访问多模态流数据。训练集涵盖0-246全部操作片段，支持从原始视频流到关节空间轨迹的端到端提取。数据使用遵循Apache-2.0许可，用户可依据标准引用规范在机器人模仿学习、动作分割算法验证等场景中展开研究。各模态数据均配备时间戳对齐机制，便于开发跨视角感知与动作生成模型。

背景与挑战

背景概述

机器人操作领域正经历从单一任务执行向复杂环境交互的范式转变。AgiBot-g1_box_storage_cardboard_box_b数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，专注于双手机器人纸箱存储任务的精细化操作研究。该数据集基于LeRobot框架构建，包含247个完整操作序列与11.5万帧多视角视觉数据，通过8个相机视角与多维运动标注，为机器人灵巧操作算法提供了真实家居场景下的基准测试平台。其核心研究价值在于解决机器人对非刚性物体的精准抓取与放置问题，推动了具身智能在物流分拣等实际应用中的技术发展。

当前挑战

在机器人操作领域，纸箱类非刚性物体的稳定抓取始终面临形变预测与力控制平衡的经典难题。该数据集构建过程中需克服多传感器时序同步的技术障碍，特别是8路高清视频流与41维状态数据的精确对齐。数据标注环节涉及复杂的运动轨迹分解，需要将连续操作离散为抓取、放置等原子动作的精细标注。此外，双机械臂协同操作的时空一致性维护，以及家居环境中光照变化对视觉识别系统的干扰，均为数据集质量保障带来显著挑战。海量数据的存储与处理亦对计算架构提出严格要求，56.9GB原始数据的高效组织需设计特殊的块存储方案。

常用场景

经典使用场景

在机器人操作学习领域，AgiBot-g1_box_storage_cardboard_box_b数据集聚焦于家庭环境中的物体整理任务。该数据集通过记录机械臂执行纸箱抓取与放置的完整操作序列，为模仿学习与强化学习算法提供了标准化的训练范例。其多视角视觉数据与精细的动作标注，使得研究者能够构建从感知到控制的端到端决策模型。

解决学术问题

该数据集有效解决了机器人操作中动作泛化与场景适应的核心难题。通过提供包含抓取力度、末端轨迹、姿态调整等多维标注的实操数据，显著降低了动态环境下物体操控的策略学习门槛。其丰富的运动学特征标注为研究双臂协调控制、接触力学建模等前沿课题提供了实证基础。

衍生相关工作

基于该数据集衍生的研究主要围绕多模态操作策略展开。RoboCOIN项目通过融合视觉-动作关联学习，提出了分层决策架构；LeRobot生态则利用其标准化格式开发了跨场景策略迁移框架。这些工作显著推进了从单任务模仿到多技能组合的机器人学习范式演进。