G1_Dex1_DiverseManip_SingleArm_256x256

该数据集使用LeRobot创建，主要用于组织和整理桌子上的物品。每个操作大约需要20到40秒，记录频率为30 Hz。使用的机器人是7-DOF单臂G1机器人，末端执行器为夹持器。图像分辨率为256x256，相机位置为头戴式（双目相机）。数据内容包括机器人的当前状态、下一个动作以及当前相机视图图像。机器人的初始姿势是每个数据集条目中的第一个机器人状态。物体随机放置在机器人手臂的运动范围和机器人头戴相机的视野内。数据集包含468个片段，总帧数为331555帧，数据文件大小为100MB，视频文件大小为500MB。

原始信息汇总

数据集概述

基本信息

• 数据集名称: G1_Dex1_DiverseManip_SingleArm_256x256
• 主页: https://github.com/unitreerobotics
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

任务与采集

• 任务目标: 整理和收拾桌子上的物品。
• 操作时长: 每次操作约20至40秒。
• 采集频率: 30 Hz。
• 机器人类型: 7自由度单臂G1机器人。
• 末端执行器: 夹爪。
• 是否为双臂操作: 否。
• 图像分辨率: 256x256。
• 相机位置: 头部安装（双目相机）。
• 物体放置: 随机放置在机器人手臂运动范围和头部相机视野内。
• 机器人初始姿态: 每个数据条目中的第一个机器人状态。
• 相机视角: 遵循 AVP Teleoperation Documentation 第5部分的指南。

数据内容

• 机器人当前状态。
• 机器人下一个动作。
• 当前相机视图图像。

数据集结构

• 代码库版本: v3.0
• 机器人类型: Unitree_G1_Dex1
• 总情节数: 468
• 总帧数: 331555
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据划分: 训练集 (0:468)
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

1. observation.state

   • 数据类型: float32
   • 形状: [16]
   • 关节名称: kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftGripper, kRightGripper

2. action

   • 数据类型: float32
   • 形状: [16]
   • 关节名称: (同上)

3. observation.images.cam_left_high

   • 数据类型: video
   • 形状: [256, 256, 3]
   • 视频信息: 高度256，宽度256，编解码器av1，像素格式yuv420p，非深度图，帧率30，通道数3，无音频。

4. observation.images.cam_right_high

   • 数据类型: video
   • 形状: [256, 256, 3]
   • 视频信息: (同上)

5. timestamp

   • 数据类型: float32
   • 形状: [1]

6. frame_index

   • 数据类型: int64
   • 形状: [1]

7. episode_index

   • 数据类型: int64
   • 形状: [1]

8. index

   • 数据类型: int64
   • 形状: [1]

9. task_index

   • 数据类型: int64
   • 形状: [1]

重要说明

1. 这是一个G1多样性数据集，可用于视频生成模型、世界模型等应用。
2. 如需使用lerobotv2.1格式，可参考转换文件: convert_v3_to_v2.py
3. 由于无法精确描述空间位置，在按照 AVP Teleoperation Documentation 第5部分安装硬件后，需调整场景以尽量匹配数据集的第一帧。
4. 数据采集并非单次完成，不同数据条目间存在差异。在模型训练时需考虑这些差异。

引用

bibtex @article{lee2018stochastic, title={Stochastic Adversarial Video Prediction}, author={Lee, Alex X. and Zhang, Richard and Ebert, Frederik and Abbeel, Pieter and Finn, Chelsea and Levine, Sergey}, journal={arXiv preprint arXiv:1804.01523}, year={2018}, url={https://arxiv.org/abs/1804.01523} }