droid_100

该数据集是使用LeRobot创建的，包含机器人操作任务的数据。数据集结构包括多个特征，如观察图像、语言指令、观察状态、动作、时间戳、episode索引、帧索引、下一个奖励、下一个完成状态、索引和任务索引。数据集的总episode数为100，总帧数为32212，总任务数为47，总视频数为300，帧率为15fps。数据集的分割为训练集，包含所有episode。

This dataset was developed using LeRobot and contains data for robotic manipulation tasks. Its structure includes multiple features such as observation images, language instructions, observation states, actions, timestamps, episode indices, frame indices, next-step rewards, next-step completion statuses, indices, and task indices. The dataset has a total of 100 episodes, 32212 frames, 47 tasks, and 300 videos, with a frame rate of 15 fps. The dataset is split into a training set that includes all episodes.

原始信息汇总

数据集概述

基本信息

• 数据集名称: DROID 100
• 主页: https://droid-dataset.github.io/
• 论文: https://arxiv.org/abs/2403.12945
• 许可证: MIT
• 任务类别: 机器人学
• 相关标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 100
• 总帧数: 32212
• 总任务数: 47
• 总视频数: 300
• 总数据块数: 1
• 数据块大小: 1000
• 帧率: 15 FPS
• 数据分割: 训练集 (0:100)

数据结构

数据文件格式为 Parquet，存储路径模式为 data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet。 视频文件存储路径模式为 videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4。

数据特征

数据集包含以下特征：

观测特征

• observation.images.exterior_image_1_left: 视频数据，形状 (180, 320, 3)，帧率15 FPS，编码格式av1。
• observation.images.exterior_image_2_left: 视频数据，形状 (180, 320, 3)，帧率15 FPS，编码格式av1。
• observation.images.wrist_image_left: 视频数据，形状 (180, 320, 3)，帧率15 FPS，编码格式av1。
• observation.state: 浮点数组，形状 (7,)，对应7个电机状态。

指令与动作特征

• language_instruction: 字符串，自然语言指令。
• action: 浮点数组，形状 (7,)，对应7个电机动作。

元数据特征

• timestamp: 浮点数，时间戳。
• episode_index: 整数，情节索引。
• frame_index: 整数，帧索引。
• task_index: 整数，任务索引。
• index: 整数，索引。

强化学习特征

• next.reward: 浮点数，奖励信号。
• next.done: 布尔值，情节结束标志。

引用信息

如需引用本数据集，请使用以下BibTeX条目： bibtex @article{khazatsky2024droid, title = {DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset}, author = {Alexander Khazatsky and Karl Pertsch and Suraj Nair and Ashwin Balakrishna and Sudeep Dasari and Siddharth Karamcheti and Soroush Nasiriany and Mohan Kumar Srirama and Lawrence Yunliang Chen and Kirsty Ellis and Peter David Fagan and Joey Hejna and Masha Itkina and Marion Lepert and Yecheng Jason Ma and Patrick Tree Miller and Jimmy Wu and Suneel Belkhale and Shivin Dass and Huy Ha and Arhan Jain and Abraham Lee and Youngwoon Lee and Marius Memmel and Sungjae Park and Ilija Radosavovic and Kaiyuan Wang and Albert Zhan and Kevin Black and Cheng Chi and Kyle Beltran Hatch and Shan Lin and Jingpei Lu and Jean Mercat and Abdul Rehman and Pannag R Sanketi and Archit Sharma and Cody Simpson and Quan Vuong and Homer Rich Walke and Blake Wulfe and Ted Xiao and Jonathan Heewon Yang and Arefeh Yavary and Tony Z. Zhao and Christopher Agia and Rohan Baijal and Mateo Guaman Castro and Daphne Chen and Qiuyu Chen and Trinity Chung and Jaimyn Drake and Ethan Paul Foster and Jensen Gao and David Antonio Herrera and Minho Heo and Kyle Hsu and Jiaheng Hu and Donovon Jackson and Charlotte Le and Yunshuang Li and Kevin Lin and Roy Lin and Zehan Ma and Abhiram Maddukuri and Suvir Mirchandani and Daniel Morton and Tony Nguyen and Abigail ONeill and Rosario Scalise and Derick Seale and Victor Son and Stephen Tian and Emi Tran and Andrew E. Wang and Yilin Wu and Annie Xie and Jingyun Yang and Patrick Yin and Yunchu Zhang and Osbert Bastani and Glen Berseth and Jeannette Bohg and Ken Goldberg and Abhinav Gupta and Abhishek Gupta and Dinesh Jayaraman and Joseph J Lim and Jitendra Malik and Roberto Martín-Martín and Subramanian Ramamoorthy and Dorsa Sadigh and Shuran Song and Jiajun Wu and Michael C. Yip and Yuke Zhu and Thomas Kollar and Sergey Levine and Chelsea Finn}, year = {2024}, }

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集是推动具身智能发展的关键基石。droid_100数据集源自DROID项目，基于LeRobot框架构建，旨在为机器人学习提供标准化的训练资源。该数据集包含100个演示片段，共计32,212帧，覆盖47种不同的操作任务。数据以Parquet格式存储，同时配备300段视频记录，通过外置与腕部摄像头捕捉多视角视觉信息。每个片段记录了7维关节状态与动作指令，并附有自然语言任务描述，确保数据具备多模态对齐特性。数据集按照15帧每秒的采样频率进行录制，所有片段被统一划分为训练集，便于直接用于模仿学习或强化学习算法的训练流程。

特点

droid_100数据集在结构设计上展现出高度的系统性与实用性。其多模态特征体系包含三个视角的视觉观测——两个外部摄像头与一个腕部摄像头，均以180×320像素的AV1编码视频呈现，兼顾了分辨率与压缩效率。状态与动作空间均采用7维向量，对应机器人各关节的连续控制信号，为精细操作建模提供了精确的输入输出对齐。语言指令字段以字符串形式嵌入，使得数据集天然支持基于自然语言的任务条件化学习。此外，数据集内建了时间戳、片段索引与帧索引等元数据，便于时间序列分析。奖励信号与终止标志的纳入，进一步扩展了其在强化学习场景中的适用性。

使用方法

使用droid_100数据集时，推荐依托LeRobot库进行高效加载与预处理。用户可通过指定配置名称'default'，利用data_files路径规则自动读取Parquet格式的序列化数据。视频文件则按分块目录结构组织，支持按片段索引与视频键动态检索。在训练阶段，可将'observation.state'与'observation.images'系列作为模型输入，'action'作为预测目标，结合'language_instruction'实现多模态条件生成。数据集已预置完整的训练划分，无需额外拆分。对于强化学习应用，'next.reward'与'next.done'字段可直接用于构建时序差分目标。建议配合HuggingFace Datasets库的流式加载功能，以应对大规模训练时的内存管理需求。

背景与挑战

背景概述

DROID_100数据集诞生于机器人学习领域对大规模、多样化操作数据迫切需求的背景下，由Alexander Khazatsky与Karl Pertsch等来自斯坦福大学、加州大学伯克利分校等多家顶尖机构的研究者于2024年共同创建。该数据集聚焦于真实世界中的机器人操控任务，旨在通过收录100个示范片段、涵盖47种不同任务及超过3.2万帧多视角视觉与状态-动作序列，为模仿学习与行为克隆提供高保真训练资源。其核心研究问题在于弥合仿真环境与真实场景之间的鸿沟，推动机器人从实验室走向非结构化环境。作为DROID项目的一部分，该数据集为后续大规模机器人数据集的构建奠定了标准，对泛化操作策略的研发产生了深远影响。

当前挑战

该数据集应对的领域挑战主要在于真实世界机器人操控的泛化难题：现有模型常因训练数据场景单一而无法适应光照变化、物体位姿差异及任务多样性，DROID_100通过提供多视点影像与语言指令注释，为跨任务迁移学习创造了条件。构建过程中遭遇的挑战则包括：多源机器人硬件带来的状态空间对齐困难，如7自由度关节角度与动作标定的一致性；自然语言指令的语义歧义性与任务标注的准确性平衡；以及视频数据在180×320低分辨率下保持时序连贯性、避免帧间抖动的技术难题。此外，数据集仅含训练分割而无验证集的设计，对模型过拟合风险的评估提出了额外要求。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，droid_100数据集作为DROID项目的一个精炼子集，汇聚了100个高质量操作片段，涵盖47种多样化任务，为模仿学习与行为克隆研究提供了标准化的训练与评估基准。借助多视角视觉输入（包括外部与腕部摄像头）与7维关节状态-动作配对数据，研究者得以在桌面级操作场景中训练机器人从像素到力矩的端到端映射模型，尤其适用于抓取、堆叠、插拔等精细动作的学习与泛化能力验证。

解决学术问题

该数据集有效回应了机器人操作研究中数据规模不足与任务多样性匮乏的长期困境。通过提供结构化的多模态观测与语言指令对齐，它使学术社区能够在可控条件下探索视觉-运动策略的迁移性与鲁棒性，例如研究环境干扰下的动作执行稳定性、跨任务知识复用机制，以及低样本条件下的策略快速适应能力，从而推动了对操作技能内在表征与学习效率的理论洞见。

衍生相关工作

作为DROID大规模野外数据集的重要组成部分，droid_100催生了一系列后续研究，包括基于扩散策略的操作动作生成模型、多任务视觉-语言-动作联合预训练框架，以及针对操作策略零样本迁移的域适应方法。这些工作进一步拓展了数据集的使用边界，例如在LeRobot生态中作为基准测试，推动了行为克隆与强化学习的混合算法发展，并启发了关于操作技能层次化分解与抽象表征的探索。