dataset_deltas_lvfm_v2

该数据集是由LeRobot创建的机器人操作数据集，主要用于机器人学习任务。数据集包含60个完整操作序列（episodes），共计7239帧数据，涵盖2种不同任务。数据以parquet文件格式存储，总数据量约100MB，视频数据约200MB。数据集包含丰富的机器人动作和观测信息：动作数据包括机械臂末端执行器的3D位置(x,y,z)、3D姿态(wx,wy,wz)和夹爪状态；观测数据包括机械臂状态、手腕和正面摄像头拍摄的256x256分辨率RGB视频（12fps）、视觉特征图(VFM/VLM)以及物体和技能特征向量。此外还包含时间戳、帧索引、episode索引等元数据信息。

原始信息汇总

数据集概述

基本信息

• 数据集名称: dataset_deltas_lvfm_v2
• 创建工具: 使用 LeRobot 创建。
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 60
• 总帧数: 7239
• 总任务数: 2
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 12 FPS
• 数据分割: 训练集包含所有60个情节。
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [7]
• 描述: 包含末端执行器的位置、旋转和夹爪位置。
• 字段: ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [7]
• 字段: ee.gripper_pos, ee.wx, ee.wy, ee.wz, ee.x, ee.y, ee.z

图像观测

• 手腕相机图像 (observation.images.wrist)
  • 数据类型: video
  • 形状: [256, 256, 3]
  • 视频信息: 高度256像素，宽度256像素，3通道，AV1编码，YUV420p像素格式，非深度图，12 FPS，无音频。
• 前视相机图像 (observation.images.front)
  • 数据类型: video
  • 形状: [256, 256, 3]
  • 视频信息: 高度256像素，宽度256像素，3通道，AV1编码，YUV420p像素格式，非深度图，12 FPS，无音频。

视觉基础模型特征

• 手腕相机VFM特征 (observation.vfm_features.wrist)
  • 数据类型: float32
  • 形状: [16, 16, 768]
• 前视相机VFM特征 (observation.vfm_features.front)
  • 数据类型: float32
  • 形状: [16, 16, 768]

视觉语言模型特征

• 手腕相机VLM特征 (observation.vlm_features.wrist)
  • 数据类型: float32
  • 形状: [16, 16, 1024]
• 前视相机VLM特征 (observation.vlm_features.front)
  • 数据类型: float32
  • 形状: [16, 16, 1024]

其他特征

• 技能特征 (observation.skill_feature)
  • 数据类型: float32
  • 形状: [1024]
• 物体特征 (observation.object_feature)
  • 数据类型: float32
  • 形状: [1024]

索引与元数据特征

• 时间戳 (timestamp): float32, 形状 [1]
• 帧索引 (frame_index): int64, 形状 [1]
• 情节索引 (episode_index): int64, 形状 [1]
• 索引 (index): int64, 形状 [1]
• 任务索引 (task_index): int64, 形状 [1]

技术细节

• 代码库版本: v3.0
• 机器人类型: so101_follower