AgiBot-g1_left_capture_part

AgiBot-g1_left_capture_part数据集是一个基于LeRobot扩展格式的数据集，与LeRobot完全兼容。数据集使用AgiBot-g1机器人，代码库版本为v2.1，末端执行器类型为两指抓手。场景类型包括工厂，原子动作包括抓取。数据集包含464个场景，174563帧，1个任务，3712个视频，1个数据块，每个数据块大小为1000，帧率为30，数据集大小为97.3GB。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器运动方向、速度、加速度、抓手模式、抓手活动状态等。数据集还包含模拟空间中末端执行器的6D位姿信息和连续的抓手开启测量值。

原始信息汇总

AgiBot-g1_left_capture_part 数据集概述

基本信息

• 数据集名称: AgiBot-g1_left_capture_part
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 帧数范围: 100K-1M

技术规格

• 机器人类型: AgiBot-g1
• 代码库版本: v2.1
• 末端执行器类型: 双指夹爪
• 帧率: 30 FPS
• 数据集大小: 97.3GB

场景与动作

• 场景类型: 工厂
• 原子动作: 抓取

数据集统计

指标	数值
总片段数	464
总帧数	174,563
总任务数	1
总视频数	3,712
总分块数	1
分块大小	1,000

任务描述

主要任务

用一只手抓取零件并将其放置在黑色容器上

子任务

1. null
2. 从供料区拾取前USB支架
3. 将前USB支架放入盒子中

数据组成

摄像机视图

包含8个摄像机视角

可用标注

• 子任务标注: 细粒度子任务分割和标注
• 场景标注: 语义场景分类和描述
• 末端执行器标注: 运动方向、速度大小、加速度大小分类
• 夹爪标注: 开/关状态、活动状态分类
• 附加特征: 末端执行器仿真姿态、夹爪开合尺度

数据分割

• 训练集: 片段0-463

数据集结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• 8个摄像机RGB视频流，分辨率从480×848到1536×1920

状态与动作

• 状态: 41维浮点数（关节角度、末端位置、姿态等）
• 动作: 34维浮点数（关节控制、末端控制等）

时间信息

• 时间戳、帧索引、片段索引等

运动特征

• 末端执行器仿真姿态（12维）
• 运动方向、速度、加速度分类

夹爪特征

• 夹爪开合尺度（连续值）
• 夹爪模式和活动状态分类

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

兼容性

基于LeRobot格式扩展，完全兼容LeRobot框架

目录结构

AgiBot-g1_left_capture_part_qced_hardlink/ ├── annotations/ # 标注文件 ├── data/ # 数据文件 ├── meta/ # 元数据 └── videos/ # 视频文件

引用信息

如需使用本数据集，请引用提供的arXiv论文

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，AgiBot-g1_left_capture_part数据集采用基于LeRobot框架的扩展格式构建，确保了与现有生态系统的完全兼容性。该数据集通过AgiBot-g1双指夹爪机器人，在工厂场景中系统采集了464个完整操作片段，涵盖抓取单一原子动作。数据以分块形式组织，每个数据块包含1000个时间步，通过8个不同视角的摄像头以30帧/秒的速率同步记录视觉信息，最终形成包含17.4万帧、97.3GB规模的结构化数据集。

使用方法

针对机器人操作算法的开发需求，该数据集支持通过标准LeRobot接口进行高效加载与处理。研究人员可直接使用提供的Parquet格式数据文件，按照分块索引机制访问特定操作片段。数据集包含完整的训练划分，覆盖全部464个操作片段，支持从多视角视觉观察重建操作场景，并结合丰富的状态-动作对进行策略学习。其结构化标注体系特别适用于细粒度操作任务分解、运动轨迹生成等研究方向的算法验证与性能评估。

背景与挑战

背景概述

在机器人操作领域，高质量数据集对于推动灵巧操作算法的发展具有关键意义。AgiBot-g1_left_capture_part数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分，聚焦于双臂机器人在工业场景中的抓取任务。该数据集基于LeRobot框架构建，包含464个任务片段和17万帧多视角视频数据，通过8个相机视角和丰富的末端执行器运动标注，为机器人抓取策略学习提供了详实的实验基础。其核心研究目标在于解决复杂环境下物体抓取的感知与控制问题，通过精细的动作分解与状态标注，为模仿学习与强化学习算法提供了标准化训练范本。

当前挑战

该数据集致力于应对机器人抓取任务中的多重挑战：在领域层面，需解决动态环境下物体定位精度不足、抓取姿态泛化能力弱等经典难题；在数据构建过程中，面临多传感器时序对齐复杂性、大规模视频数据存储优化等工程障碍。具体而言，多视角视觉数据同步采集要求毫秒级时间戳校准，而末端执行器六维位姿标注需平衡精度与计算开销。此外，97.3GB数据体量的高效组织与分布式读取机制，对数据管道设计提出了严峻考验。这些挑战共同构成了机器人操作数据集开发中的典型技术瓶颈。

常用场景

经典使用场景

在机器人操作研究领域，AgiBot-g1_left_capture_part数据集为双臂抓取任务提供了标准化实验平台。其核心应用聚焦于工厂场景下的零件抓取与放置操作，通过多视角视觉观测与精细动作标注，支持机器人从感知到执行的端到端学习。该数据集包含174,563帧高分辨率图像数据，涵盖夹爪开合控制、末端执行器轨迹规划等关键操作环节，为模仿学习与强化学习算法提供了丰富的训练样本。

解决学术问题

该数据集有效解决了机器人操作中的多模态感知融合与精细动作生成难题。通过提供八路相机视角的同步观测数据，包括手腕视角与全局视角的互补信息，支持视觉-动作对应关系建模。其精细的末端执行器位姿、速度、加速度标注体系，为研究机器人运动学约束下的动作优化提供了数据基础。特别在双手协调操作场景中，数据集通过双机械臂的独立状态追踪，推动了双边动作协同控制理论的发展。

实际应用

在工业自动化领域，该数据集支撑了智能分拣系统的开发与优化。基于工厂环境采集的真实操作数据，可直接用于训练工业机器人执行精密零件抓取任务。其包含的夹爪控制参数与物体放置策略，为仓储物流中的自动化包装线提供了技术参照。通过模拟真实生产场景下的操作流程，该数据集助力研发适应复杂环境的鲁棒性控制算法，显著提升工业机器人的任务成功率与操作精度。

数据集最近研究

最新研究方向

在机器人操作学习领域，AgiBot-g1_left_capture_part数据集凭借其丰富的多视角视觉数据与精细化的动作标注，正推动模仿学习与强化学习的深度融合。该数据集通过8个相机视角捕捉工厂环境下的抓取任务，结合末端执行器运动轨迹与夹爪状态的多维度标注，为构建具身智能模型提供了关键数据支撑。当前研究聚焦于利用其高精度时空注释开发分层策略网络，探索在动态环境中实现鲁棒操作的行为泛化能力。随着RoboCOIN项目与LeRobot框架的协同发展，该数据集正成为解决复杂双手机器人协同操作难题的重要基准，为工业自动化与智能机器人技术的前沿突破奠定数据基石。