droid_1.0.1_v30

该数据集是一个机器人学数据集，使用LeRobot工具创建。数据集基于Franka机器人，包含95,658个episodes、27,630,375帧和49,630个任务，数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为500MB，帧率为15fps。数据集包含多种特征：观察部分包括机器人状态（如关节位置、笛卡尔位置、夹爪位置）、多视角图像（如手腕左摄像头、外部左摄像头1和2）、语言指令（最多三条）；动作部分包括夹爪和关节的位置与速度控制；此外还有奖励、折扣、任务类别、收集者ID、日期、相机外参、成功标志等元数据。数据集主要用于机器人任务的学习和评估，所有数据均划分为训练集。

原始信息汇总

数据集概述：droid_1.0.1_v30

该数据集是一个用于机器人学的开源数据集，采用 Apache-2.0 许可证。

数据集基本信息

• 任务类别：机器人学 (Robotics)
• 创建工具：使用 LeRobot 创建
• 语言：包含语言指令，字段名为 language_instruction、language_instruction_2、language_instruction_3。
• 机器人类型：Franka
• 数据统计：
  • 总片段数 (Episodes)：95,658
  • 总帧数 (Frames)：27,630,375
  • 总任务数 (Tasks)：49,630
  • 帧率 (FPS)：15
  • 数据块大小 (Chunks Size)：1,000
• 数据划分：所有数据（0:95658）均用于训练 (train)。
• 文件格式：
  • 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 文件大小：
  • 数据文件大小：约 100 MB
  • 视频文件大小：约 500 MB

数据集特征结构

数据集包含丰富的特征，分为状态观测、图像观测、动作指令和元数据等类别。

1. 状态观测 (observation.state)

• 夹爪位置 (observation.state.gripper_position)：1维浮点数，表示夹爪开合程度。
• 笛卡尔位置 (observation.state.cartesian_position)：6维浮点数，包含 x， y, z, roll， pitch， yaw 坐标。
• 关节位置 (observation.state.joint_position)：7维浮点数，表示Franka机器人7个关节的角度。
• 完整状态 (observation.state)：8维浮点数，融合了7个关节位置和1个夹爪位置。

2. 图像观测 (observation.images)

提供三个视角的摄像头视频流，均为AV1编码，分辨率 320x180，帧率 15 FPS。

特征名称	描述	形状 (H， W, C)
observation.images.wrist_left	左腕部摄像头	(180， 320, 3)
observation.images.exterior_1_left	外部视角1 (左)	(180， 320, 3)
observation.images.exterior_2_left	外部视角2 (左)	(180， 320, 3)

3. 动作指令 (action)

包含多种动作表示，如夹爪位置/速度、笛卡尔位置/速度、关节位置/速度，以及一个原始动作向量。

• 夹爪：action.gripper_position (1维)、action.gripper_velocity (1维)
• 笛卡尔：action.cartesian_position (6维)、action.cartesian_velocity (6维)
• 关节：action.joint_position (7维)、action.joint_velocity (7维)
• 原始动作 (action.original)：7维浮点数，包含 x， y, z, roll， pitch, yaw, gripper。
• 最终动作 (action)：8维浮点数，融合了7个关节位置和1个夹爪位置。

4. 元数据与任务信息

• 语言指令：language_instruction， language_instruction_2, language_instruction_3 (字符串)
• 任务类别：task_category (字符串)
• 场景/环境：building (字符串)
• 收集者：collector_id (字符串)
• 时间戳：date， timestamp
• 标记：
  • is_first， is_last, is_terminal (布尔型，标记片段起止)
  • is_episode_successful (布尔型，标记任务是否成功)
• 奖励与折扣：reward， discount (浮点数)
• 索引：frame_index， episode_index, index, task_index (整数)
• 相机外参：camera_extrinsics.wrist_left， camera_extrinsics.exterior_1_left, camera_extrinsics.exterior_2_left (6维浮点数，描述相机位置)