G1_Dex1_DiverseManip_SingleArm_128x128
收藏资源简介：
该数据集由LeRobot创建，采用Apache-2.0许可证。数据集的主要任务是整理和清洁桌面上的物品。数据采集使用7自由度双臂G1机器人，配备夹持器末端执行器，操作时长为20至40秒，记录频率为30Hz。数据集包含机器人的当前状态、下一动作以及当前摄像头视图图像（分辨率为128x128）。摄像头位置为头戴式双目摄像头。数据集中每个条目的初始机器人姿态为第一个机器人状态，物体随机放置在机器人手臂运动范围和头戴摄像头视野内。数据集包含468个episodes，总计331555帧，数据文件大小为100MB，视频文件大小为500MB。数据集适用于视频生成模型、世界模型等应用。使用时需注意数据采集过程中的变化和空间位置描述的精确性。
This dataset was created by LeRobot and licensed under the Apache-2.0 license. Its core task is to tidy up and clean objects placed on a desktop. Data collection was conducted using a 7-degree-of-freedom dual-arm G1 robot equipped with a gripper end effector, with each operation lasting 20 to 40 seconds and a recording frequency of 30 Hz. The dataset includes the robot's current state, the next planned action, and current camera view images with a resolution of 128x128. The camera setup is a head-mounted binocular camera. For each entry in the dataset, the initial robot pose is the first recorded robot state, and objects are randomly placed within the motion range of the robot's arms and the field of view of the head-mounted camera. The dataset contains 468 episodes, totaling 331,555 frames, with a data file size of 100 MB and a video file size of 500 MB. This dataset is suitable for applications such as video generation models and world models. Attention should be paid to the variations during data collection and the accuracy of spatial position descriptions when using this dataset.
数据集概述
基本信息
- 数据集名称： G1_Dex1_DiverseManip_SingleArm_128x128
- 主页： https://github.com/unitreerobotics
- 许可证： Apache-2.0
- 创建工具： LeRobot (https://github.com/huggingface/lerobot)
- 任务类别： 机器人学
任务与采集信息
- 任务目标： 整理和收拾桌子上的物品。
- 操作时长： 每次操作约20至40秒。
- 记录频率： 30 Hz。
- 机器人类型： 7自由度双臂G1机器人。
- 末端执行器： 夹爪。
- 是否为双臂操作： 是。
- 图像分辨率： 128x128。
- 相机位置： 头部安装（双目相机）。
- 数据内容：
- 机器人当前状态。
- 机器人下一个动作。
- 当前相机视图图像。
- 机器人初始姿态： 每个数据集条目中的第一个机器人状态。
- 物体放置： 随机放置在机器人手臂运动范围和机器人头部相机视野内。
- 相机视图： 遵循 AVP Teleoperation Documentation 中第5部分的指导。
数据集结构
- 代码库版本： v3.0
- 机器人类型： Unitree_G1_Dex1
- 总情节数： 468
- 总帧数： 331,555
- 总任务数： 1
- 数据块大小： 1000
- 数据文件大小： 100 MB
- 视频文件大小： 500 MB
- 帧率： 30 FPS
- 数据划分：
- 训练集：包含所有468个情节 (0:468)
- 数据文件路径模式：
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - 视频文件路径模式：
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
数据特征
-
observation.state
- 数据类型： float32
- 形状： [16]
- 名称： kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftGripper, kRightGripper
-
action
- 数据类型： float32
- 形状： [16]
- 名称： 与
observation.state相同。
-
observation.images.cam_left_high
- 数据类型： video
- 形状： [128, 128, 3] (高度，宽度，通道)
- 视频信息： 高度128，宽度128，编解码器h264，像素格式yuv420p，非深度图，帧率30 FPS，通道数3，无音频。
-
observation.images.cam_right_high
- 数据类型： video
- 形状： [128, 128, 3] (高度，宽度，通道)
- 视频信息： 与
cam_left_high相同。
-
timestamp
- 数据类型： float32
- 形状： [1]
-
frame_index
- 数据类型： int64
- 形状： [1]
-
episode_index
- 数据类型： int64
- 形状： [1]
-
index
- 数据类型： int64
- 形状： [1]
-
task_index
- 数据类型： int64
- 形状： [1]
重要说明
- 这是一个G1多样性数据集，可用于视频生成模型、世界模型等应用。
- 如需使用lerobotv2.1格式，请参考此文件进行转换：convert_v3_to_v2.py
- 由于无法精确描述空间位置，在按照 AVP Teleoperation Documentation 第5部分安装硬件后，请调整场景以尽可能匹配数据集的第一个帧。
- 数据收集并非在单次会话中完成，不同数据条目间存在差异。在模型训练时需考虑这些差异。
引用
bibtex @article{lee2018stochastic, title={Stochastic Adversarial Video Prediction}, author={Lee, Alex X. and Zhang, Richard and Ebert, Frederik and Abbeel, Pieter and Finn, Chelsea and Levine, Sergey}, journal={arXiv preprint arXiv:1804.01523}, year={2018}, url={https://arxiv.org/abs/1804.01523} }
