G1_Dex1_DiverseManip_SingleArm_128x128

该数据集使用[LeRobot](https://github.com/huggingface/lerobot)创建，专注于机器人技术，特别是使用7自由度双臂G1机器人整理桌子上的物品。每个操作持续约20至40秒，记录频率为30 Hz。数据集内容包括机器人的当前状态、下一个动作以及当前摄像头视图图像。机器人初始姿势为每个数据集条目中的第一个机器人状态，物体随机放置在机器人手臂运动范围和头部安装摄像头的视野内。图像分辨率为128x128，摄像头位置为头戴式（双目摄像头）。数据集结构包括parquet文件和元数据，详细描述了机器人关节和摄像头规格。该数据集可用于视频生成模型、世界模型等应用。

原始信息汇总

数据集概述

基本信息

• 数据集名称: G1_Dex1_DiverseManip_SingleArm_128x128
• 主页: https://github.com/unitreerobotics
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

任务与采集信息

• 任务目标: 整理和收拾桌子上的物品。
• 操作时长: 每次操作约20至40秒。
• 采集频率: 30 Hz。
• 机器人类型: 7自由度双臂G1机器人。
• 末端执行器: 夹爪。
• 是否为双臂操作: 是。
• 图像分辨率: 128x128。
• 相机位置: 头部安装（双目相机）。
• 物体摆放: 随机放置在机器人手臂运动范围和头部相机视野内。
• 机器人初始姿态: 每个数据条目中的第一个机器人状态。
• 相机视角: 遵循AVP远程操作文档第五部分的指导原则 (https://github.com/unitreerobotics/avp_teleoperate)。

数据内容

• 机器人当前状态。
• 机器人下一动作。
• 当前相机视角图像。

数据集结构

• 代码库版本: v3.0
• 机器人类型: Unitree_G1_Dex1
• 总情节数: 468
• 总帧数: 331,555
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (0:468)
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

• observation.state: 浮点32，形状[16]，包含左右肩、肘、腕关节及夹爪状态。
• action: 浮点32，形状[16]，关节动作命令。
• observation.images.cam_left_high: 视频格式，形状[128, 128, 3]，H.264编码，30 FPS。
• observation.images.cam_right_high: 视频格式，形状[128, 128, 3]，H.264编码，30 FPS。
• timestamp: 浮点32，形状[1]。
• frame_index: 整型64，形状[1]。
• episode_index: 整型64，形状[1]。
• index: 整型64，形状[1]。
• task_index: 整型64，形状[1]。

重要说明

1. 本数据集为G1多样性数据集，可用于视频生成模型、世界模型等应用。
2. 如需使用lerobotv2.1格式，可参考转换脚本：https://github.com/NVIDIA/Isaac-GR00T/blob/main/scripts/lerobot_conversion/convert_v3_to_v2.py
3. 由于无法精确描述空间位置，在按照AVP远程操作文档第五部分安装硬件后，需调整场景以匹配数据集第一帧。
4. 数据采集非单次完成，条目间存在差异，模型训练时需考虑此变化。

引用

bibtex @article{lee2018stochastic, title={Stochastic Adversarial Video Prediction}, author={Lee, Alex X. and Zhang, Richard and Ebert, Frederik and Abbeel, Pieter and Finn, Chelsea and Levine, Sergey}, journal={arXiv preprint arXiv:1804.01523}, year={2018}, url={https://arxiv.org/abs/1804.01523} }