AgiBot-g1_robotic_arm_picks_up_parts

AgiBot-g1_robotic_arm_picks_up_parts数据集是基于LeRobot格式的扩展数据集，包含了机器人抓取、放置和抓握等原子动作，并提供了丰富的注释和附加特征。数据集分为训练集和测试集，并按照LeRobot格式组织数据文件。

原始信息汇总

AgiBot-g1_robotic_arm_picks_up_parts 数据集概述

基本信息

• 数据集名称: AgiBot-g1_robotic_arm_picks_up_parts
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 帧数范围: 10K-100K

机器人配置

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

场景类型

• 工厂环境

原子动作

• 放置
• 拾取
• 抓取

数据集统计

指标	数值
总情节数	53
总帧数	30190
总任务数	1
总视频数	424
总分块数	1
分块大小	1000
帧率	30
数据集大小	15.0GB

任务描述

主要任务

拾取零件并将其放入黑色容器中

子任务

1. 无
2. 从供料区拾取硬盘支架
3. 将硬盘支架放入盒子中

数据特征

视觉观察

• 8个相机视角
• 所有相机帧率：30 FPS
• 编码格式：av1

状态与动作

• 状态观察: float32 (41维)
• 动作: float32 (34维)

时间信息

• 时间戳、帧索引、情节索引、任务索引

注释信息

• 子任务注释
• 场景注释

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向、速度、加速度分类
• 夹爪开合尺度、模式、活动状态

数据组织

文件结构

• 数据文件: Parquet格式
• 视频文件: MP4格式
• 分块组织: 1个分块，每个分块1000个情节

数据分割

• 训练集: 情节0-52

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

目录结构

AgiBot-g1_robotic_arm_picks_up_parts_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.cam_back_left_fisheye_rgb/ ├── observation.images.cam_back_right_fisheye_rgb/ ├── observation.images.cam_high_center_fisheye_rgb/ ├── observation.images.cam_high_left_fisheye_rgb/ ├── observation.images.cam_high_rgb/ ├── observation.images.cam_high_right_fisheye_rgb/ ├── observation.images.cam_left_wrist_rgb/ └── observation.images.cam_right_wrist_rgb/

引用信息

如需使用本数据集，请引用相关论文和LeRobot框架。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，本数据集采用扩展的LeRobot格式构建，通过AgiBot-g1双指夹爪机器人在工厂场景下执行零件拾取任务。数据采集过程包含53个完整操作片段，总计30190帧视觉数据，以30帧/秒的采样率记录八路不同视角的摄像头画面。数据采用分块存储机制，将操作序列组织为1000帧大小的数据块，并以Parquet格式保存机器人状态、动作指令及多模态注释信息。

特点

该数据集的核心特征体现在其丰富的多模态注释体系，不仅包含机器人关节状态、末端执行器位姿等基础数据，还提供了细粒度的子任务分割标注。八路摄像头覆盖了全局视角、腕部视角及鱼眼视角，形成全方位的视觉观测网络。运动特征方面包含末端执行器的方向、速度、加速度分类，夹爪状态则涵盖开合尺度、工作模式及活动状态等多维度信息，为机器人模仿学习提供详尽的监督信号。

使用方法

研究人员可通过LeRobot框架直接加载本数据集，利用其标准化的数据接口访问多模态观测流。数据集支持端到端的机器人策略学习，用户可基于视觉观测和状态信息训练动作预测模型。针对特定研究需求，可单独利用子任务标注进行分层强化学习，或结合末端执行器位姿数据开发运动规划算法。数据分块结构便于流式处理，而丰富的注释体系为不同粒度的行为分析提供了灵活的研究基础。

背景与挑战

背景概述

在机器人操作领域，双手机器人的精确控制与协同作业一直是研究热点。AgiBot-g1_robotic_arm_picks_up_parts数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于工业场景下的零件抓取与放置任务。通过集成多视角视觉观测、末端执行器运动轨迹及丰富的动作标注，该数据集为机器人模仿学习与策略优化提供了高质量基准，显著推动了双臂协同操作算法的实证研究。

当前挑战

该数据集致力于解决双臂机器人精细操作中的动作规划与多模态感知融合难题。构建过程中面临多重挑战：需同步采集八路高清视频流与41维关节状态数据，确保时空对齐精度；针对抓取动作的细微变化，需设计涵盖方向、速度、加速度的六维末端执行器运动标注体系；在工厂环境下，还需克服光照变化与机械振动对传感器数据质量的干扰。

常用场景

经典使用场景

在工业机器人研究领域，该数据集为双臂协作操作任务提供了标准化基准。其核心应用聚焦于工厂场景下的零件抓取与放置任务，通过多视角视觉观测与精细的动作标注，支持机器人抓取策略的端到端学习。典型使用方式包括基于视觉的抓取点检测、双臂运动轨迹规划以及抓取力控制算法的训练与验证。

解决学术问题

该数据集有效解决了机器人操作中的三大核心问题：复杂场景下的视觉-动作映射、双臂协调控制的时序建模以及精细操作的任务分解。通过提供丰富的末端执行器运动参数与抓取状态标注，为模仿学习与强化学习算法提供了高质量的监督信号。其多模态数据架构显著提升了机器人操作策略的泛化能力与可解释性。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究。基于其数据格式的扩展工作开发了分层强化学习框架，实现了复杂操作任务的动作抽象。衍生研究还包括多模态融合的抓取成功率预测模型、基于物理仿真的策略迁移方法，以及结合语言指令的零样本操作泛化技术，持续推动着机器人操作智能的技术边界。