droid_lerobot

该数据集由LeRobot创建，包含机器人操作相关的数据。数据集结构包括观察状态（如左右机械臂的各个关节角度）、动作数据、来自腕部摄像头的图像、点云数据以及相机内外参数。具体特征包括18维的观察状态、10维的末端执行器姿态、180x320分辨率的RGB和深度图像、点云数据等。数据集总共有18327个episodes，3974430帧，12747个任务，128289个视频，分为19个块。

原始信息汇总

数据集概述

基本信息

• 数据集名称: sriramsk/droid_lerobot
• 创建工具: 使用LeRobot创建
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 18,327
• 总帧数: 3,974,430
• 总任务数: 12,747
• 总视频数: 128,289
• 数据块数: 19
• 数据块大小: 1,000
• 帧率: 15 FPS
• 数据划分: 训练集 (0:18327)

数据结构

数据文件格式为Parquet，存储路径模式为 data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet。 视频文件存储路径模式为 videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4。

数据特征

数据集包含以下主要特征：

观测数据

1. 状态观测 (observation.state)

   • 数据类型: float32
   • 形状: [18]
   • 描述: 包含左、右机械臂各关节状态，具体为：左/右腰部、肩部、肩部影子关节、肘部、肘部影子关节、前臂滚动、手腕角度、手腕旋转、夹爪。

2. 右末端执行器位姿 (observation.right_eef_pose)

   • 数据类型: float32
   • 形状: [10]
   • 描述: 包含6维旋转表示、3维平移和夹爪关节开合度。

3. 图像观测

   • 腕部摄像头图像 (observation.images.cam_wrist)
     • 数据类型: video
     • 形状: [180, 320, 3]
     • 描述: 腕部摄像头图像。
   • 摄像头1 (observation.images.cam_1.color)
     • 数据类型: video
     • 形状: [180, 320, 3]
     • 描述: RGB图像。
   • 摄像头1深度图 (observation.images.cam_1.depth)
     • 数据类型: video
     • 形状: [180, 320, 1]
     • 描述: 深度信息。
   • 摄像头1目标夹爪投影 (observation.images.cam_1.goal_gripper_proj)
     • 数据类型: video
     • 形状: [180, 320, 3]
     • 描述: 目标位置夹爪点云在图像上的投影。
   • 摄像头2 (observation.images.cam_2.color)
     • 数据类型: video
     • 形状: [180, 320, 3]
     • 描述: RGB图像。
   • 摄像头2深度图 (observation.images.cam_2.depth)
     • 数据类型: video
     • 形状: [180, 320, 1]
     • 描述: 深度信息。
   • 摄像头2目标夹爪投影 (observation.images.cam_2.goal_gripper_proj)
     • 数据类型: video
     • 形状: [180, 320, 3]
     • 描述: 目标位置夹爪点云在图像上的投影。

4. 点云观测

   • 夹爪点云 (observation.points.gripper_pcds)
     • 数据类型: pcd
     • 形状: [-1, 3]
     • 描述: 当前位置的原始夹爪点云。

5. 相机参数

   • 摄像头1内参矩阵 (observation.cam_1.intrinsics)
     • 数据类型: float32
     • 形状: [3, 3]
     • 描述: 相机内参矩阵 (K)。
   • 摄像头1外参矩阵 (observation.cam_1.extrinsics)
     • 数据类型: float32
     • 形状: [4, 4]
     • 描述: 相机外参矩阵 (T_world_cam)。
   • 摄像头2内参矩阵 (observation.cam_2.intrinsics)
     • 数据类型: float32
     • 形状: [3, 3]
     • 描述: 相机内参矩阵 (K)。
   • 摄像头2外参矩阵 (observation.cam_2.extrinsics)
     • 数据类型: float32
     • 形状: [4, 4]
     • 描述: 相机外参矩阵 (T_world_cam)。

动作数据

1. 关节动作 (action)
   • 数据类型: float32
   • 形状: [18]
   • 描述: 与observation.state结构相同的关节动作指令。
2. 右末端执行器位姿动作 (action.right_eef_pose)
   • 数据类型: float32
   • 形状: [10]
   • 描述: 与observation.right_eef_pose结构相同的末端执行器位姿动作指令。

元数据与索引

1. 下一个事件索引 (next_event_idx)
   • 数据类型: int32
   • 形状: [1]
   • 描述: 数据集中下一个事件的索引。
2. 具身名称 (embodiment)
   • 数据类型: string
   • 形状: [1]
   • 描述: 具身智能体名称。
3. 时间戳 (timestamp)
   • 数据类型: float32
   • 形状: [1]
4. 帧索引 (frame_index)
   • 数据类型: int64
   • 形状: [1]
5. 情节索引 (episode_index)
   • 数据类型: int64
   • 形状: [1]
6. 数据索引 (index)
   • 数据类型: int64
   • 形状: [1]
7. 任务索引 (task_index)
   • 数据类型: int64
   • 形状: [1]

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX引用: 信息缺失