droid_3d
收藏资源简介：
droid_3d 是一个使用 DROID 数据收集平台采集的大规模机器人操作数据集，旨在训练视觉-语言-动作模型和具有3D感知能力的机器人策略。它包含多视角的 RGB 视频、深度视频、点云、机器人动作以及自然语言任务描述。数据集规模庞大，总计包含 58,201 个交互片段（episodes），共 18,083,626 帧图像，以 15 FPS 的帧率录制，覆盖了 23,858 个不同的任务。数据采集使用了多摄像头系统，包括一个腕部相机和两个外部相机。每个帧提供来自这三个视角的以下数据：分辨率为 224×398 的 RGB 视频（使用 AV1 编码）、相同分辨率的深度视频（使用 H.265 编码，深度范围为 2000 毫米）、以及每个相机对应的点云（最多 2048 个点，其 XYZ 坐标被量化到指定范围）。此外，每个时间步包含一个 8 维的浮点型机器人动作向量，以及每个交互片段最多 3 条描述任务的文本标注。数据集遵循 LeRobot v3.0 格式组织，总大小约为 1.3 TB，目前仅包含训练集划分。它适用于机器人抓取、任务规划、多模态表示学习等研究领域。
droid_3d is a large-scale robot manipulation dataset collected using the DROID data collection platform. It aims to train vision-language-action models and robot policies with 3D perception capabilities. The dataset includes multi-view RGB videos, depth videos, point clouds, robot actions, and natural language task descriptions. It is extensive, containing a total of 58,201 episodes with 18,083,626 frames recorded at 15 FPS, covering 23,858 distinct tasks. Data collection utilized a multi-camera system comprising a wrist camera and two external cameras. Each frame provides data from these three perspectives: RGB videos at 224×398 resolution (encoded with AV1), depth videos at the same resolution (encoded with H.265, with a depth range of 2000 mm), and point clouds per camera (up to 2048 points, with XYZ coordinates quantized to a specified range). Additionally, each timestep includes an 8-dimensional floating-point robot action vector, and each episode has up to 3 text annotations describing tasks. The dataset is organized following the LeRobot v3.0 format, with a total size of approximately 1.3 TB, and currently includes only the training split. It is suitable for research in robot grasping, task planning, multimodal representation learning, and related fields.
数据集总览
droid_3d 是一个大规模机器人操作数据集，基于 DROID 数据采集平台构建。数据集包含多视角 RGB 视频、深度视频、点云、机器人动作和自然语言任务描述，专为训练视觉-语言-动作模型和 3D 感知机器人策略设计。
- 数据集名称: droid_3d
- 语言: 英语 (en)
- 许可证: MIT
- 数据集规模: 约 1.3 TB
- 任务类型: 机器人 (robotics)、视频分类 (video-classification)，具体包括抓取 (grasping) 和任务规划 (task-planning)
- 相关论文: EmbodiedMAE: A Unified 3D Multi-Modal Representation for Robot Manipulation
数据集规模与统计
- 总片段数: 58,201 (episodes)
- 总帧数: 18,083,626 (frames)
- 总任务数: 23,858 (distinct tasks)
- 帧率: 15 FPS
数据集划分
| 划分 | 片段数 | 帧数 |
|---|---|---|
| train | 58,201 | 18,083,626 |
注意: 该数据集仅包含训练集，无评估集。
数据特征与格式
数据集遵循 LeRobot v3.0 格式，每个帧包含以下特征：
| 特征名称 | 数据类型 | 形状 | 详细信息 |
|---|---|---|---|
| observation.images.wrist | video | (224, 398, 3) | 腕部 RGB 视频，AV1 编码，15 FPS |
| observation.images.external_0 | video | (224, 398, 3) | 外部相机 0 RGB 视频，AV1 编码，15 FPS |
| observation.images.external_1 | video | (224, 398, 3) | 外部相机 1 RGB 视频，AV1 编码，15 FPS |
| observation.depth.wrist | depth_video | (224, 398, 1) | 腕部深度视频，H.265 (uint12) 编码，深度范围 2000mm |
| observation.depth.external_0 | depth_video | (224, 398, 1) | 外部相机 0 深度视频，H.265 (uint12) 编码，深度范围 2000mm |
| observation.depth.external_1 | depth_video | (224, 398, 1) | 外部相机 1 深度视频，H.265 (uint12) 编码，深度范围 2000mm |
| observation.pointcloud.wrist | pointcloud | (2048, 3) | 腕部点云，量化 XYZ 坐标，范围: x∈[−1,1], y∈[−1,1], z∈[0,1.6] |
| observation.pointcloud.external_0 | pointcloud | (2048, 3) | 外部相机 0 点云，量化 XYZ 坐标，范围同前 |
| observation.pointcloud.external_1 | pointcloud | (2048, 3) | 外部相机 1 点云，量化 XYZ 坐标，范围同前 |
| action | float32 | (8,) | 8 维机器人动作向量 |
| language_1 | string | (1,) | 第一条自然语言任务描述 |
| language_2 | string | (1,) | 第二条自然语言任务描述 |
| language_3 | string | (1,) | 第三条自然语言任务描述 |
| timestamp | float32 | (1,) | 帧的时间戳 |
| frame_index | int64 | (1,) | 帧在片段内的索引 |
| episode_index | int64 | (1,) | 片段标识符 |
| index | int64 | (1,) | 全局帧索引 |
| task_index | int64 | (1,) | 任务标识符 |
数据存储结构
数据集目录布局如下：
droid_3d/ ├── data/ # Parquet 格式的动作和元数据 (636 MB) │ └── chunk-000/ │ └── file-{000-999}.parquet ├── videos/ │ ├── observation.images.wrist/ # 腕部 RGB 视频 (AV1) │ ├── observation.images.external_0/ # 外部相机 0 RGB 视频 (AV1) │ ├── observation.images.external_1/ # 外部相机 1 RGB 视频 (AV1) │ ├── observation.depth.wrist/ # 腕部深度视频 (H.265) │ ├── observation.depth.external_0/ # 外部相机 0 深度视频 (H.265) │ └── observation.depth.external_1/ # 外部相机 1 深度视频 (H.265) ├── pointclouds/ │ ├── observation.pointcloud.wrist/ # 腕部点云 (Parquet) │ ├── observation.pointcloud.external_0/ # 外部相机 0 点云 (Parquet) │ └── observation.pointcloud.external_1/ # 外部相机 1 点云 (Parquet) ├── meta/ │ ├── info.json # 数据集元数据 │ ├── stats.json # 数据集统计 │ ├── tasks.parquet # 任务定义 │ └── episodes/ # 片段元数据 └── README.md
- 视频数据: 823 GB
- 点云数据: 461 GB
- Parquet 数据: 636 MB
使用说明
重要提示: 标准 LeRobot (huggingface/lerobot) 不支持深度视频或点云加载。必须使用修改后的代码库 ZibinDong/lerobotdataset3d 来加载此数据集。
安装: bash pip install git+https://github.com/ZibinDong/lerobotdataset3d.git
加载数据集示例: python from lerobotdataset3d import LeRobotDatasetDepthPointcloud
dataset = LeRobotDatasetDepthPointcloud( repo_id="ZibinDong/droid_3d", root="/local_path/to/droid_3d", )
item = dataset[0]
RGB 视频帧: (3, H, W) float32, 范围 [0, 255]
深度帧: (1, H, W) float32, 单位米
点云: (max_points, 3) float32, 单位米
动作: torch.Size([8])
语言描述: string
时间窗口采样示例: python dataset = LeRobotDatasetDepthPointcloud( repo_id="ZibinDong/droid_3d", root="/local_path/to/droid_3d", delta_timestamps={ "observation.images.wrist": [-0.1, 0.0, 0.1], "action": [-0.1, 0.0, 0.1, 0.2, 0.3], }, )
引用
bibtex @article{dong2025embodiedmae, title = {EmbodiedMAE: A Unified 3D Multi-Modal Representation for Robot Manipulation}, author = {Dong, Zibin and Ni, Fei and Yuan, Yifu and Li, Yinchuan and Hao, Jianye}, journal = {arXiv preprint arXiv:2505.10105}, year = {2025} }
