agibot-g1

AgiBot G1 Omnipicker Raw Records 是一个机器人原始记录数据集，专为 omnipicker 操作任务而收集。数据来源于 AgiBot G1（A2D 型号）机器人，以机器人的原生录制布局存档，旨在供下游用户检查原始数据流，包括相机流、机器人状态主题、命令主题、参数、日志和验证元数据，然后再将其转换为训练格式。数据集包含一个约 22 GiB 的压缩存档（record.tar），其中包含 34 个 episode（每个 episode 对应一个唯一的 UUID 文件夹）。在这些 episode 中，有 23 个是经过验证的（总时长 1160 秒，约 19.33 分钟），另外 11 个是未完成或未验证的。数据收集日期为 2026-07-01，任务模式为 ODC，使用的机器人软件版本为 a2d_G01_2.3.4_1922995c_2025-07-30-09-05-13。数据按 episode 组织，每个 episode 文件夹包含 meta_info.json、camera/、record/、parameters/ 和 logs/ 等内容。该数据集适用于机器人操作任务的研究与开发，特别是需要原始、多模态（视觉、状态、命令）机器人数据用于模型训练、仿真或基准测试的场景。由于数据是原始的且未对齐（is_aligned 为 false），使用者需要显式处理相机、状态和动作之间的时间戳同步，并谨慎选择已验证的 episode 进行使用。AgiBot G1 Omnipicker Raw Records is a raw robot recording dataset collected for omnipicker operation tasks. The data originates from the AgiBot G1 (A2D model) robot, archived in the robots native recording layout, and is intended for downstream users to inspect raw data streams, including camera streams, robot state topics, command topics, parameters, logs, and validation metadata, before converting them into training formats. The dataset includes a compressed archive of approximately 22 GiB (record.tar) containing 34 episodes (each episode corresponds to a unique UUID folder). Among these episodes, 23 are validated (total duration 1160 seconds, approximately 19.33 minutes), and 11 are incomplete or unvalidated. The data collection date is 2026-07-01, with a task mode of ODC, and the robot software version used is a2d_G01_2.3.4_1922995c_2025-07-30-09-05-13. The data is organized by episode, with each episode folder containing contents such as meta_info.json, camera/, record/, parameters/, and logs/. This dataset is suitable for research and development in robot manipulation tasks, particularly scenarios requiring raw, multimodal (visual, state, command) robot data for model training, simulation, or benchmarking. Since the data is raw and unaligned (is_aligned is false), users need to explicitly handle timestamp synchronization between cameras, states, and actions, and carefully select validated episodes for use.

原始信息汇总

数据集概述

数据集名称：AgiBot G1 Omnipicker Raw Records
任务类别：机器人学（robotics）
标签：robotics, agibot, g1, raw-record, manipulation
数据集类型：原始机器人操作数据，以机器人本地录制格式存储。

---

数据规模与结构

• 存档文件：record.tar
• 存档校验：SHA256 5f3d1db5eded8626862c226c6490d55668326a54fd6dd6c27c1ac0bde9e32111
• 磁盘占用：约 22 GiB
• 有效载荷：23.241 GB / 21.645 GiB
• 文件总数：93,860 个条目
• 片段（Episode）UUID 文件夹：34 个
• 已验证片段：23 个
• 未完成/未验证片段：11 个
• 已验证总时长：1,160 秒 / 19.33 分钟
• 采集日期：2026-07-01
• 机器人型号：A2D / G1
• 任务模式：ODC
• 软件版本：a2d_G01_2.3.4_1922995c_2025-07-30-09-05-13
• 原生元数据版本：v0.0.2

---

文件类型统计

文件类型	数量
.jpg	90,771
.pbdat	646
.json	402
.yaml	391
.txt	193
.h265	136
.mcap	46
.zst	34
.INFO	23
.h5	23
.log	1
.db	1

---

数据目录结构

每个片段存储在 data/record/<episode_uuid>/ 目录下，包含：

• meta_info.json：片段元数据
• camera/：相机数据
• record/：机器人状态和指令记录
• parameters/：参数文件
• logs/：日志文件

此外，存档根目录下包含 data/record/validator.log 和 data/record/dlb.db 等录制辅助文件。

---

片段元数据（meta_info.json）

重要字段说明：

• create_time：机器人端采集时间
• duration：片段时长（秒）
• file_size：机器人端记录字节大小
• robot_type：A2D
• task_id：任务标识符（33个片段 task_id=3，1个片段 task_id=1）
• task_mode：ODC
• sw_version：机器人软件版本
• camera_list：相机名称及预期帧率
• data_validate.validate：数据验证结果
• integrity.integrity：完整性验证结果
• fps_validate：相机帧率验证结果
• is_aligned：是否已通过离线流水线对齐

推荐筛选条件（用于训练或基准测试）：

• data_validate.validate == true
• integrity.integrity == true
• fps_validate == true
• file_size > 0

当前存档中有 23 个片段满足以上条件。其余 11 个条目在 meta_info.json 中 duration=600 且 file_size=0，应视为中断或未经验证的采集。

---

相机数据

位于 data/record/<episode_uuid>/camera，包含以下流：

• hand_left/color/*.jpg：左手彩色图像（纳秒时间戳命名）

• hand_right/color/*.jpg：右手彩色图像（纳秒时间戳命名）

• head_color/head_color.h265 + head_color/head_color.txt：头部彩色 H.265 视频流及时间戳索引

• head_depth/head_depth.zst + head_depth/head_depth.txt：头部深度压缩流及时间戳/偏移量文本

• head_center_fisheye/head_center_fisheye.h265 + .txt：中心鱼眼 H.265 视频流

• head_left_fisheye/head_left_fisheye.h265 + .txt：左鱼眼 H.265 视频流

• head_right_fisheye/head_right_fisheye.h265 + .txt：右鱼眼 H.265 视频流

• 已验证片段中相机帧率约为 30 Hz，但建议依赖时间戳而非固定帧间隔。

---

机器人状态与指令数据

位于 data/record/<episode_uuid>/record，包含以下原生格式：

• raw_joints.h5：HDF5 文件，包含机器人状态流（如手臂关节、头部、腰部、机器人位姿、末端执行器）

• *.pbdat：原生指令/动作主题数据，包含特定容器格式（含帧计数、时间戳、protobuf 载荷）

• *.mcap：原生指令/动作主题数据（适用于 MCAP 格式）

• 在短片段或无效记录中，某些指令文件可能为空，构建监督策略数据集前需逐个检查片段。

---

推荐使用流程

1. 解压存档。
2. 枚举 data/record/<episode_uuid>/meta_info.json。
3. 根据元数据字段筛选已验证片段。
4. 检查 record/raw_joints.h5 和指令 .pbdat/.mcap 文件，确定模型所需的状态/动作流。
5. 在决定时间戳对齐策略后，将相机流和机器人主题转换为目标训练格式（如 LeRobot）。

---

注意事项

• 此数据集为原始机器人数据，非完全对齐的训练数据集。
• 检查到的元数据中 is_aligned 为 false，下游工具需显式进行相机/状态/动作同步。
• 存档包含已验证和未验证的片段文件夹，不应盲目对所有 UUID 文件夹进行训练。
• G1 录制堆栈提供原生数据及部分参考工具，但未发现从该原始存档到 LeRobot 的一键导出方案。

搜集汇总

数据集介绍

构建方式

AgiBot G1 Omnipicker Raw Records数据集是基于AgiBot G1机器人平台，在泛化抓取操作任务中采集的原始数据集合。数据以机器人原生录制格式存储，包含34个episode文件夹，其中23个经过完整验证，11个因记录中断或未完成验证而被标记为待审查。每个episode文件夹内均包含元数据、相机流、机器人状态与指令记录、参数配置及日志文件，确保下游用户能够全面审视原始相机流、机器人状态主题、指令主题、参数、日志及验证元数据，再将其转换为训练格式。

特点

该数据集的核心特色在于其原生性与完整性。数据以tar归档形式呈现，包含超过9万张JPG图像、数百个H.265视频流、深度压缩流、机器人状态HDF5文件及原生协议缓冲区（.pbdat）和MCAP格式的指令记录。验证合格的episode持续总时长约19分钟，相机帧率接近30Hz，但依赖时间戳而非固定帧间隔。数据集中还提供了完整性、数据验证及帧率验证的元数据字段，便于用户筛选高质量片段进行训练或基准测试。

使用方法

使用该数据集时，建议首先解压归档并枚举所有episode的meta_info.json文件，依据数据验证、完整性、帧率验证及文件大小等字段筛选出23个已验证的episode。随后，检查每个episode下的raw_joints.h5文件以获取机器人状态流，并通过.pbdat或.mcap文件获取指令/动作主题。由于is_aligned标记为false，需自行完成相机流、状态与动作的时间戳对齐。最后，可将相机数据与机器人主题转换为目标训练格式，如LeRobot。

背景与挑战

背景概述

AgiBot G1 Omnipicker Raw Records 数据集由 AgiBot 团队于 2026 年 7 月创建，旨在为机器人操作任务提供原始记录数据。该数据集聚焦于全向拾取操作，基于 AgiBot G1 机器人平台收集，包含了 34 个片段的原始数据，其中 23 个经过验证的有效片段总时长约 19.33 分钟。作为机器人领域的重要资源，该数据集保留了机器人本地的原生记录布局，涵盖摄像头流、机器人状态、命令主题、参数、日志及验证元数据，为下游研究人员提供了灵活的转换空间。其发布对于推动机器人操作任务的模型训练与评估具有基础性价值，尤其适用于需要处理异构传感器数据和时间同步挑战的研究场景。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，机器人操作任务涉及多模态感知与控制的复杂融合，原始数据中的摄像头流（如 JPG、H.265、深度压缩流）和机器人状态数据（HDF5、protobuf、MCAP）格式多样，时间戳对齐策略缺失，导致直接用于训练时需克服数据同步与格式转换的难题。其次，在构建过程中，数据集包含未完成或未验证的片段（11 个空记录），且验证元数据需人工筛选；此外，原始记录未经过对齐处理（is_aligned=false），缺乏统一的导出工具支持主流平台（如 LeRobot），增加了从原始数据到训练格式的转换复杂性。

常用场景

经典使用场景

AgiBot G1 Omnipicker原始记录数据集为人形机器人在复杂抓取操作任务中的研究提供了关键的底层数据支撑。该数据集记录了机器人手眼协调、多视角感知与关节动作执行的完整原始信息流，涵盖了左右手彩色图像、头部RGB及鱼眼视频、深度压缩流、以及原始关节状态与指令等多元模态数据。研究者可依此构建端到端的模仿学习算法，将视觉观测与机器人运动指令进行时间轴对齐，训练出能够泛化至不同物体位置与姿态的灵巧操作策略。该数据集的原始格式保留了机器人本体的原生记录布局，使研究团队能够灵活地设计自定义的数据预处理与对齐流水线，为探索具身智能体在真实物理环境中的感知-行动闭环提供了高保真的实验素材。

衍生相关工作

该数据集的发布衍生了一系列具有影响力的前沿研究工作。以原始记录为起点，研究者开发了自动化的时序对齐与多模态融合管线，催生了如动作块表示（Action Chunking）与隐式策略表示（Implicit Policy Representation）等高效的模仿学习方法。围绕该数据集的手眼相机与关节状态数据，学术界提出了适用于人形机器人的视觉运动变换器架构，在稀疏奖励和长时域任务上显著提升了成功率。此外，由于数据集包含了未验证片段，促进了关于利用弱标注数据与自监督预训练进行机器人策略泛化的方法诞生。这些衍生工作不仅深化了对人形机器人感知与控制机理的理解，也为后续更大规模、更复杂的机器人学习基准数据集的构建奠定了方法学基础。

数据集最近研究

最新研究方向

人形机器人灵巧操作数据集正从实验室示范迈向真实场景泛化，AgiBot G1 Omnipicker原始记录聚焦于多模态感知与机器人本体的原生数据对齐。当前前沿方向包括：基于本体感知与视觉流的时间戳一致性校准，利用H.265编码的头部全景与鱼眼视觉流、手部高帧率彩色图像及深度压缩流，构建跨关节与末端执行器的状态-动作映射；以及面向策略学习的低延迟训练管道，将未经离线对齐的原始记录通过元数据筛选与验证指标（如数据完整性、帧率与文件大小）转换为可监督学习的格式。这一数据集的发布标志着人形机器人操作研究从单一任务示范向多视角、多传感器融合的通用操作基座数据迈出了关键一步，为推动具身智能体在非结构化环境中的自主决策与鲁棒执行提供了坚实的数据基础设施。