G1_Dex1_DiverseManip_DualArm_128x128

该数据集使用[LeRobot](https://github.com/huggingface/lerobot)创建，专注于机器人技术，特别是使用7自由度双臂G1机器人整理桌子上的物品。数据集内容包括机器人的当前状态、下一个动作以及当前摄像头视图图像。技术规格包括：操作时长为20至40秒，记录频率为30 Hz，图像分辨率为128x128，摄像头位置为头戴式（双目摄像头）。数据集结构详细列出了各种特征及其属性，如机器人的关节状态、动作、摄像头图像等。重要说明包括数据集可用于视频生成模型和世界模型等应用，数据收集并非单次完成，存在条目间差异。

原始信息汇总

数据集概述

基本信息

• 数据集名称： G1_Dex1_DiverseManip_DualArm_128x128
• 主页： https://github.com/unitreerobotics
• 许可协议： Apache-2.0
• 任务类别： 机器人学
• 创建工具： LeRobot (https://github.com/huggingface/lerobot)

任务与采集设置

• 任务目标： 整理和收拾桌子上的物品。
• 操作时长： 每次操作约20至40秒。
• 记录频率： 30 Hz。
• 机器人类型： 7自由度双臂G1机器人。
• 末端执行器： 夹爪。
• 是否为双臂操作： 是。
• 图像分辨率： 128x128。
• 相机位置： 头部安装（双目相机）。
• 物体放置： 随机放置在机器人手臂运动范围和头部相机视野内。
• 机器人初始姿态： 每个数据条目中的第一个机器人状态。
• 相机视图参考： 遵循 AVP Teleoperation Documentation 中 Part 5 的指南。

数据内容

• 机器人当前状态。
• 机器人下一个动作。
• 当前相机视图图像。

数据集结构

• 代码库版本： v3.0
• 机器人类型： Unitree_G1_Dex1
• 总情节数： 525
• 总帧数： 413538
• 总任务数： 1
• 分块大小： 1000
• 数据文件大小： 100 MB
• 视频文件大小： 500 MB
• 帧率： 30 FPS
• 数据分割：
  • 训练集： 0:525（全部数据）
• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

1. observation.state

   • 数据类型： float32
   • 形状： [16]
   • 字段名称： kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftGripper, kRightGripper

2. action

   • 数据类型： float32
   • 形状： [16]
   • 字段名称： 与 observation.state 相同。

3. observation.images.cam_left_high

   • 数据类型： video
   • 形状： [128, 128, 3]
   • 维度名称： height, width, channel
   • 视频信息：
     • 高度：128
     • 宽度：128
     • 编解码器：av1
     • 像素格式：yuv420p
     • 是否为深度图：否
     • 帧率：30
     • 通道数：3
     • 是否包含音频：否

4. observation.images.cam_right_high

   • 数据类型： video
   • 形状： [128, 128, 3]
   • 维度名称： height, width, channel
   • 视频信息： 与 observation.images.cam_left_high 相同。

5. timestamp

   • 数据类型： float32
   • 形状： [1]

6. frame_index

   • 数据类型： int64
   • 形状： [1]

7. episode_index

   • 数据类型： int64
   • 形状： [1]

8. index

   • 数据类型： int64
   • 形状： [1]

9. task_index

   • 数据类型： int64
   • 形状： [1]

重要说明

1. 这是一个可用于视频生成模型、世界模型等应用的G1多样性数据集。
2. 如需使用lerobotv2.1格式，请参考转换文件：convert_v3_to_v2.py。
3. 由于无法精确描述空间位置，在按照 AVP Teleoperation Documentation 的 Part 5 安装硬件后，需调整场景以尽可能匹配数据集的第一帧。
4. 数据采集并非在单次会话中完成，不同数据条目间存在差异。在模型训练时需考虑这些差异。

引用

bibtex @article{lee2018stochastic, title={Stochastic Adversarial Video Prediction}, author={Lee, Alex X. and Zhang, Richard and Ebert, Frederik and Abbeel, Pieter and Finn, Chelsea and Levine, Sergey}, journal={arXiv preprint arXiv:1804.01523}, year={2018}, url={https://arxiv.org/abs/1804.01523} }