AgiBot-g1_picks_up_parts_a

AgiBot-g1_picks_up_parts_a 数据集是基于 LeRobot 数据集构建的，与 LeRobot 完全兼容。它包括在工厂环境中进行抓取、放置和抓握等机器人操作任务的数据。数据集具有来自多个相机视图的各种标注和丰富的视觉观察。数据集被组织成多个剧集和块，并具有详细的元数据和结构化的文件组织。数据集是在 Apache-2.0 许可证下发布的。

原始信息汇总

AgiBot-g1_picks_up_parts_a 数据集概述

基本信息

• 数据集名称: AgiBot-g1_picks_up_parts_a
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 数据范围: 10K-100K

技术规格

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 帧率: 30 FPS
• 数据集大小: 22.3GB

场景与动作

• 场景类型: 工厂
• 原子动作: 放置、拾取、抓取

数据集统计

指标	数值
总情节数	126
总帧数	45417
总任务数	1
总视频数	1008
总分块数	1
分块大小	1000

任务描述

主要任务

使用机械臂拾取零件并将其放置在桌子上

子任务

1. 空任务
2. 从供料区拾取硬盘支架
3. 将硬盘支架放入盒子中

数据采集

• 相机视角: 8个
• 视觉观测:
  • cam_high_rgb (720×1280)
  • cam_left_wrist_rgb (480×848)
  • cam_right_wrist_rgb (480×848)
  • cam_back_left_fisheye_rgb (1536×1920)
  • cam_back_right_fisheye_rgb (1536×1920)
  • cam_high_center_fisheye_rgb (1536×1920)
  • cam_high_left_fisheye_rgb (1536×1920)
  • cam_high_right_fisheye_rgb (1536×1920)

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 开/关状态标注
• 活动状态分类

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开合尺度（连续测量值）

数据特征

状态和动作

• observation.state: float32[41]
• action: float32[34]

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度幅度（状态和动作）

夹爪特征

• 夹爪开合尺度（状态和动作）
• 夹爪模式（状态和动作）
• 夹爪活动状态

数据划分

• 训练集: 情节0-125

数据格式

• 数据格式: 基于LeRobot的扩展格式
• 文件格式: Parquet
• 视频编码: AV1

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

如需在研究中引用此数据集，请使用提供的BibTeX条目。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AgiBot-g1_picks_up_parts_a数据集通过AgiBot-g1双指夹爪机器人在工厂场景中执行零件拾放任务构建而成。该数据集采用LeRobot扩展格式，包含126个完整操作序列，总计45417帧数据，通过8个多视角摄像头以30帧率同步采集视觉信息，并以分块存储的parquet文件整合机器人状态、动作轨迹及多层次标注信息。

使用方法

研究人员可通过LeRobot兼容接口加载数据集，利用data/目录下的parquet文件访问机器人状态与动作序列，videos/子目录提供多视角视频流数据。训练集包含0-125号完整操作片段，支持端到端策略学习、行为克隆等任务。数据字段包含41维状态空间与34维动作空间，配合时间戳与帧索引可实现时序建模，丰富的运动学标注为机器人操作轨迹分析提供结构化基础。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统因其能够执行复杂装配任务而备受关注。AgiBot-g1_picks_up_parts_a数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，该数据集聚焦于工厂场景下的零件抓取与放置任务。通过采用兼容LeRobot框架的扩展格式，该数据集记录了AgiBot-g1双手机器人使用两指夹爪执行精细操作的全过程，包含126个任务片段和超过4.5万帧多维数据，为机器人灵巧操作研究提供了真实工业环境下的基准数据。

当前挑战

该数据集致力于解决双手机器人协同操作的三大核心挑战：多模态感知融合中视觉信息与运动状态的时序对齐问题，高维动作空间下精准抓取策略的泛化能力不足，以及动态环境中长期任务执行的稳定性控制。在构建过程中面临数据同步复杂性，八路摄像头视频流与41维状态数据需保持严格时序一致；标注工作量巨大，需对末端执行器位姿、夹爪状态等数百维特征进行精细标注；存储与处理压力显著，22.3GB原始数据需优化压缩算法以保证高效访问。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双臂协调控制研究提供了典型范例。其核心应用场景聚焦于工业环境中的零件拾取与放置任务，通过记录AgiBot-g1机械臂在工厂场景下执行抓取硬盘支架并放入箱体的完整操作序列。数据集包含多视角视觉观测、关节状态数据以及精细的动作标注，为模仿学习算法提供了从感知到执行的端到端训练样本。这些数据能够有效支撑机器人对复杂操作任务的时序理解和动作规划能力开发。

解决学术问题

该数据集主要致力于解决机器人操作中的动作分割与技能泛化问题。通过提供精细标注的原子动作序列（拾取、抓取、放置）和丰富的运动特征（末端执行器位姿、速度、加速度），研究者能够深入分析双臂协调操作的运动规律。其多维度的状态-动作对数据为强化学习策略的样本效率提升提供了支撑，同时精确的时序标注有助于解决长时程任务中的动作边界识别难题，推动机器人操作从单一技能向复合技能的发展。

实际应用

在工业自动化场景中，该数据集可直接应用于智能装配线的机器人控制系统优化。基于实际采集的工厂环境操作数据，能够训练出适应真实工作条件的抓取放置算法，显著提升生产线上的零件处理效率。数据集包含的八路摄像头视角为视觉伺服控制提供了丰富的感知输入，而精确的夹爪状态标注则有助于开发更柔顺的抓取策略。这些特性使得该数据集成为连接实验室研究与企业应用的重要桥梁。

数据集最近研究

最新研究方向

在机器人操作领域，AgiBot-g1_picks_up_parts_a数据集凭借其丰富的多视角视觉数据和精细的动作标注，正推动双臂协作机器人的前沿研究。当前热点聚焦于基于LeRobot框架的端到端模仿学习，利用数据集提供的12维末端执行器位姿和抓取器状态信息，探索复杂工厂场景下的零件拾取任务泛化能力。该数据集与RoboCOIN项目紧密关联，其多模态标注体系为机器人动作分割与轨迹预测研究提供了重要支撑，促进了工业自动化中灵巧操作技术的革新。