AgiBot-g1_right_capture_part

该数据集是基于LeRobot扩展格式的AgiBot-g1_right_capture_part数据集，包含57个场景，27866帧图像，456个视频，以及丰富的场景和任务注释。数据集涵盖工厂场景，主要任务为抓取物体并将其放置在黑色容器中。数据集支持多种学习方法和机器人操控研究。This dataset is the AgiBot-g1_right_capture_part dataset built upon the LeRobot extended format, comprising 57 scenarios, 27,866 image frames, 456 videos, and rich scene and task annotations. The dataset focuses on factory scenarios, with its core task being to grasp objects and place them into black containers. It supports various learning methodologies and robotic manipulation research.

原始信息汇总

AgiBot-g1_right_capture_part 数据集概述

基本信息

• 数据集名称: AgiBot-g1_right_capture_part
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 帧数范围: 10K-100K

技术规格

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪
• 帧率: 30 FPS
• 数据集大小: 13.1 GB

场景与动作

• 场景类型: 工厂
• 原子动作: 抓取

数据集统计

指标	数值
总情节数	57
总帧数	27866
总任务数	1
总视频数	456
总分块数	1
分块大小	1000

任务描述

主要任务

抓取零件并将其放置在黑色容器中

子任务

1. 无
2. 从供料区拾取并抬起前USB支架
3. 将前USB支架放入盒子中

数据组成

视觉观测

• 8个相机视角，包括：
  • 高位RGB相机
  • 左腕部RGB相机
  • 右腕部RGB相机
  • 5个鱼眼相机（后左、后右、高位中心、高位左、高位右）

状态与动作

• 状态观测: 41维浮点数组（关节位置、末端位置、姿态等）
• 动作数据: 34维浮点数组（关节控制、末端控制等）

时间信息

• 时间戳、帧索引、情节索引、任务索引

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类
• 末端执行器仿真姿态（6D）
• 夹爪开合尺度

数据划分

• 训练集: 情节0-56

文件结构

数据集根目录/ ├── annotations/ # 标注文件 ├── data/ # 数据文件（Parquet格式） ├── meta/ # 元数据 └── videos/ # 视频文件

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

兼容性

• 基于LeRobot扩展格式并完全兼容LeRobot框架

引用信息

如需在研究中使用本数据集，请引用提供的arXiv论文。

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AgiBot-g1_right_capture_part数据集采用基于LeRobot框架的扩展格式构建，通过AgiBot-g1双指夹爪机器人在工厂场景中系统采集抓取任务数据。该数据集包含57个完整操作序列，总计27866帧视觉与运动数据，以分块存储的Parquet文件形式组织，每个数据块容纳1000个操作片段，确保数据的高效存取与处理。

特点

该数据集以多视角视觉观测与精细化动捕标注为显著特征，涵盖8个不同角度的摄像头数据，包括高分辨率RGB影像与鱼眼视角视频。其标注体系囊括末端执行器运动方向、速度加速度分类、夹爪开合状态等多维特征，并配备六维位姿仿真数据与子任务分割标注，为机器人操作策略学习提供丰富的时空上下文信息。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，利用其标准化的状态-动作对与多模态观测数据训练机器人操作模型。数据按操作片段划分训练集，支持从原始视频流到关节控制指令的端到端学习，同时丰富的运动学标注为模仿学习与强化学习算法提供细粒度监督信号。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的复杂控制一直是个核心研究问题。AgiBot-g1_right_capture_part数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，专注于工厂场景下的抓取任务。该数据集基于LeRobot框架构建，包含57个完整操作序列和27866帧多视角视觉数据，通过8个相机视角和丰富的运动标注，为双手机器人的精细操作研究提供了重要支撑。其核心价值在于解决了传统机器人数据集中缺乏双手机器人协同操作标注的空白，推动了具身智能在工业自动化中的应用发展。

当前挑战

该数据集致力于解决双手机器人抓取操作中的动作规划与协调控制难题，其核心挑战在于如何准确建模双手在三维空间中的运动轨迹与力控交互。构建过程中面临多模态数据同步的技术瓶颈，需要协调8个不同视角的视觉传感器与41维关节状态数据的时序对齐。数据标注的复杂性尤为突出，涉及末端执行器的6D位姿、速度加速度分类、夹爪开合状态等多层次运动特征的精确标注。此外，工厂环境的动态光照变化和机械振动对传感器数据质量构成了显著干扰，增加了数据清洗与标注的难度。

常用场景

经典使用场景

在机器人操作学习领域，AgiBot-g1_right_capture_part数据集以其工厂场景下的抓取任务为核心应用场景。该数据集通过多视角视觉观测与精细的动作标注，为双臂协作机器人的抓取策略研究提供了标准化实验平台。研究人员能够基于27866帧连续操作数据，构建从视觉感知到运动控制的端到端学习模型，特别在动态抓取轨迹规划与多模态传感器融合方面展现出显著价值。

实际应用

在工业自动化领域，该数据集可直接应用于智能装配线的抓取系统优化。基于其包含的57个完整操作序列，工程师能够训练机器人精准执行USB支架的抓取与放置任务。八路相机视角提供的全方位视觉覆盖，使得系统具备应对复杂光照和遮挡条件的能力。这种数据驱动的解决方案显著提升了生产线物料处理的智能化水平，为柔性制造系统提供了可靠的技术支撑。

衍生相关工作

该数据集已衍生出多个具有影响力的研究方向，包括基于LeRobot框架的层次化强化学习架构、多视角视觉表征的跨模态对齐方法、以及仿真与现实世界的域自适应技术。相关研究通过利用数据集提供的丰富运动特征标注，开发了新型的抓取策略生成网络和动作分割算法。这些工作不仅拓展了机器人操作学习的理论边界，也为工业场景的实际部署提供了可复现的基准方案。