droid

DROID是一个大规模的机器人操作数据集，包含27,044,326帧、92,223个片段和31,308个独特的自然语言任务描述。数据集从Tensorflow格式转换为LeRobotDataset格式，并提供了可视化、主页、论文和许可证的链接。数据集的结构包括元数据信息、特征描述等，适用于机器人技术的研究和应用。

DROID is a large-scale robotic manipulation dataset encompassing 27,044,326 frames, 92,223 episodes, and 31,308 unique natural language task descriptions. It has been converted from TensorFlow format to LeRobotDataset format, with accompanying links to its visualization tools, official homepage, associated research paper, and license agreement. The dataset's structure includes metadata information, feature descriptions and other relevant components, making it suitable for research and practical applications in the field of robotics.

原始信息汇总

DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset

数据集概述

• 创建工具: 使用LeRobot创建
• 数据规模: 27,044,326帧，92,223个episodes，31,308个独特的自然语言任务描述
• 原始格式: Tensorflow Dataset (2TB)
• 转换格式: LeRobotDataset (400GB)
• 转换支持: IPEC-COMMUNITY

关键信息

• 可视化: LeRobot
• 主页: Droid
• 论文: Arxiv
• 许可证: apache-2.0

数据集结构

• 代码库版本: v2.1
• 机器人类型: franka
• 总episodes: 92,233
• 总帧数: 27,044,326
• 总视频数: 92,233
• 帧率: 15fps
• 训练集划分: 0:92233

数据特征

• 观察图像:
  • exterior_image_2_left: 视频格式 (180x320x3)
  • exterior_image_1_left: 视频格式 (180x320x3)
  • wrist_image_left: 视频格式 (180x320x3)
• 观察状态: float32 (8维)
• 动作: float32 (7维)
• 其他字段: timestamp, frame_index, episode_index, index, task_index

引用

bibtex @article{khazatsky2024droid, title={Droid: A large-scale in-the-wild robot manipulation dataset}, author={Khazatsky, Alexander and Pertsch, Karl and Nair, Suraj and Balakrishna, Ashwin and Dasari, Sudeep and Karamcheti, Siddharth and Nasiriany, Soroush and Srirama, Mohan Kumar and Chen, Lawrence Yunliang and Ellis, Kirsty and others}, journal={arXiv preprint arXiv:2403.12945}, year={2024} }

搜集汇总

数据集介绍

构建方式

DROID数据集是由LeRobot框架创建的，它从Tensorflow数据集格式转换至LeRobotDataset格式，包含了27,044,326帧图像，92,223个情节，以及31,308个独特的自然语言任务描述。该数据集的构建采用了大规模野外机器人操作场景，旨在为机器人研究提供丰富的现实世界操作数据。

特点

该数据集的特点在于其规模宏大，覆盖面广，包含了多种机器人操作任务，且数据均源自实际操作环境。它支持视频和图像的多种格式，并提供详细的元数据信息，如机器人状态、动作和时间戳等，为研究者提供了深入分析机器人行为和性能的坚实基础。

使用方法

使用DROID数据集时，用户可以直接访问其存储的Parquet文件和视频文件。数据集的结构化设计使得研究者能够轻松地按情节和帧索引进行数据检索，同时也支持通过LeRobot平台进行数据集的可视化，便于分析和理解数据内容。

背景与挑战

背景概述

DROID数据集，作为机器人学领域的一项重要成果，由Khazatsky等研究人员于2024年创建。该数据集源自LeRobot项目，是目前公开的规模最大的机器人操作数据集之一，包含27,044,326帧图像，92,223个操作序列，以及31,308个自然语言描述的任务。DROID数据集的构建旨在推动机器人野外操作的研究与进步，其对机器人学领域的影响不容小觑，为相关算法的研发和验证提供了宝贵的资源。

当前挑战

在构建DROID数据集的过程中，研究人员面临了多方面的挑战。首先，如何在保证数据质量的同时，处理大规模数据集的收集和存储问题；其次，数据集的多样化任务描述和操作序列对于标注和处理的准确性提出了更高的要求。此外，数据集的野外操作特性使得数据收集和同步面临额外的复杂性。在研究领域问题上，DROID数据集所面临的挑战包括如何有效利用这些数据来提升机器人自主操作的能力，特别是在非结构化环境下的适应性和鲁棒性。

常用场景

经典使用场景

DROID数据集作为机器人学领域的一大开源数据集，其广泛用于模拟机器人操作和环境交互的复杂场景。该数据集通过提供大量的视频帧和任务描述，使得研究者能够深入探究机器人在现实世界中的操作表现，尤其是在执行精细操作和复杂任务时。

解决学术问题

该数据集解决了机器人研究领域中关于真实环境下的操作学习和适应性控制的难题，提供了丰富的场景和任务多样性，有助于学术研究者对机器人的感知、决策和执行进行深入分析，从而推动机器人自主操作技术的发展。

衍生相关工作

DROID数据集的发布促进了多项相关研究工作的开展，包括机器人学习算法的改进、真实世界操作模型的构建以及机器人控制策略的优化等，为机器人学领域的研究提供了重要的数据支持和实验基础。