Cosmos3-DROID

DROID（分布式机器人交互数据集）是一个大规模“野外”机器人操作数据集，旨在通过大幅提升场景、任务、物体、视角和交互地点的多样性，训练可泛化的机器人操作策略。数据集包含约7.6万条遥操作演示轨迹（约350小时交互数据），在12个月内采集于13个机构的18个实验室，覆盖564个独特场景、86种任务和52栋建筑。数据使用统一的开源机器人硬件平台（Franka Panda 7-DoF机械臂与Robotiq 2F-85夹爪）收集，确保跨实验室数据的可比性和可复现性。每个数据片段包含三个同步的立体RGB相机视频流、相机标定数据、深度信息、底层机器人状态与控制命令，以及最多三条自然语言任务指令。数据以LeRobotDataset v3.0标准组织，包含成功和失败两个独立子集，总计约7.2万条片段，超过2240万帧数据，总存储量约707 GB。特征包括来自三个视角（两个外部、一个腕部）的视频观察（640x360 RGB，15 FPS）、7维关节位置/速度/扭矩状态、6维笛卡尔位置状态、夹爪状态，以及相应的关节/笛卡尔/夹爪位置与速度动作。数据集适用于机器人策略学习、机器人前向动力学模型学习和逆向动力学模型学习等任务，研究表明其能提升策略性能、鲁棒性和泛化能力。基于OpenMDW1.1许可证发布，可用于商业或非商业用途。DROID (Distributed Robot Interaction Dataset) is a large-scale "in-the-wild" robotic manipulation dataset developed to train generalizable robotic manipulation policies by substantially enhancing the diversity of scenarios, tasks, objects, viewpoints, and interaction locations. It contains approximately 76,000 teleoperation demonstration trajectories (roughly 350 hours of interaction data), collected over a 12-month period across 18 laboratories affiliated with 13 institutions, covering 564 unique scenarios, 86 distinct tasks, and 52 buildings. All data was collected using a unified open-source robotic hardware platform (Franka Panda 7-DoF robotic arm paired with a Robotiq 2F-85 gripper) to guarantee cross-laboratory data comparability and reproducibility. Each data segment includes three synchronized stereo RGB camera video streams, camera calibration parameters, depth information, low-level robot states and control commands, and up to three natural language task instructions. The dataset is structured per the LeRobotDataset v3.0 standard, and comprises two independent subsets: successful and failed trials, with a total of approximately 72,000 segments, over 22.4 million frames of data, and an overall storage footprint of around 707 GB. The collected features include video observations (640×360 RGB, 15 FPS) from three viewpoints (two external, one wrist-mounted), 7-dimensional joint position/velocity/torque states, 6-dimensional Cartesian position states, gripper states, as well as corresponding joint, Cartesian, and gripper position and velocity actions. This dataset is suitable for tasks including robotic policy learning, robotic forward dynamics model learning, and inverse dynamics model learning. Existing research has demonstrated that it can improve policy performance, robustness, and generalization ability. The dataset is released under the OpenMDW 1.1 license, and permits both commercial and non-commercial usage.

搜集汇总

数据集介绍

构建方式

Cosmos3-DROID 数据集源自 DROID（分布式机器人交互数据集），一个大规模野外机器人操作数据集，包含 76K 条遥操作示教轨迹，约 350 小时交互数据，涵盖 564 个独特场景、86 项任务和 52 栋建筑，由北美、亚洲和欧洲 13 个机构、18 个实验室的 50 名数据收集员在 12 个月内共同完成。数据基于统一的 Franka Panda 7 自由度机械臂和 Robotiq 2F-85 夹爪硬件平台采集，每次收集会话开始时，工作人员将便携式机器人平台移至新场景，配置第三方摄像头视角并执行外参标定，然后通过图形用户界面输入任务指令。收集过程中，系统随机抽样任务以确保数据不被偏向于简单任务或邻近物体，并定期提示执行场景增强操作（如移动基座、重新标定摄像头、改变光照等），每场景通常采集约 100 条轨迹后切换场景。此版本将原始 DROID 数据转换为 LeRobotDataset v3.0 标准，采用基于文件的 Parquet 和 MP4 分片及结构化元数据，替代了逐片段文件格式。

特点

Cosmos3-DROID 数据集的核心特点在于其极高的多样性：场景、任务、物体、视角和交互位置的广泛覆盖，显著优于以往的真实世界机器人操作数据集。统一硬件平台确保了不同实验室采集的示教数据具有可比性和可复现性。每个片段包含三路同步立体 RGB 摄像头流、标定数据、深度信息、底层机器人状态与控制命令，以及最多三条自然语言任务指令。数据集分为成功和失败两个子集，分别包含 57,639 和 14,268 条片段，总计超 22 百万帧、707 GB 存储。采用 AV1 编码的 MP4 视频和 Parquet 格式存储帧级状态与动作数据，支持关节位置、速度、力矩、笛卡尔位姿、夹爪状态等 16 维特征，以及动作空间的多模态控制指令，为机器人策略学习、正/逆动力学建模提供了丰富且标准化的数据基础。

使用方法

Cosmos3-DROID 数据集的使用需先通过 Hugging Face 进行身份验证，随后可利用 LeRobot 兼容工具进行下载或流式读取。推荐使用 huggingface_hub 库的 snapshot_download 函数将数据集下载至本地目录。加载时，通过 LeRobotDataset 类实例化成功或失败子集，例如 `dataset = LeRobotDataset(f"{repo_dir}/success")`，即可获取片段数量、任务元数据及特征模式等信息。数据集包含清晰的目录结构：metadata 文件夹下提供 info.json 配置文件、stats.json 统计信息和 tasks.parquet 任务列表；data 目录存放帧级 Parquet 数据；videos 目录存放三个摄像头视角的 MP4 视频分片。用户可根据研究需求（策略学习、动力学建模等）灵活选择子集，并可结合 LeRobot 提供的文档进行数据加载、预处理和模型训练，整体流程标准化且易于集成。

背景与挑战

背景概述

DROID（分布式机器人交互数据集）是由英伟达公司联合13所机构、50名数据采集员历时12个月构建的大规模野外机器人操作数据集，于2024年发布。该数据集包含约7.6万条遥操作演示轨迹，覆盖564个场景、86项任务，并在北美、亚洲和欧洲的52栋建筑中采集，总计约350小时的交互数据。其核心研究问题在于推动泛化机器人操作策略的训练，通过提供统一的Franka Panda硬件平台、三路同步立体RGB摄像头流、深度信息及自然语言任务指令，显著增强了场景、任务、物体和交互位置的多样性。DROID的提出提升了策略性能、鲁棒性和泛化能力，较现有大规模数据集方法平均改进20%，对机器人学习领域具有重要影响力。

当前挑战

该数据集所解决的领域挑战主要包括机器人操作策略的泛化难题，即传统数据集受限于单一场景或任务，难以适应复杂多变的环境；同时，多模态数据（视觉、力觉、语言）的融合与对齐也构成显著障碍。在构建过程中，挑战尤为突出：需协调18个实验室的50名采集员，在统一开源硬件平台上操作，确保数据一致性与可复现性；每次采集需动态选择视角、执行棋盘格相机标定，并通过图形界面随机采样任务以避免偏差，同时周期性进行场景增强（如移动基座、调节光照、增减物品），这些流程给数据质量控制与标准化带来巨大难度。

常用场景

经典使用场景

在机器人学习领域，Cosmos3-DROID数据集被广泛用于训练通用化的机器人操作策略。该数据集涵盖了564个独特场景、86种任务，以及超过76K条遥操作示教轨迹，为策略网络提供了海量的多模态数据，包括同步立体RGB图像、深度信息、机器人关节状态与控制指令，以及自然语言任务描述。研究者可基于其统一的Franka Panda硬件平台数据，训练端到端的操作策略，从而在未见过的场景和任务中实现零样本或小样本迁移。该数据集的丰富多样性显著提升了策略对环境变化、光照条件和物体布局的鲁棒性，成为推动机器人技能泛化研究的基石。

衍生相关工作

基于Cosmos3-DROID数据集，学术界涌现出一系列经典衍生工作。其中最引人注目的是联合训练范式的突破，研究者通过将该数据集与原有大规模操作数据集（如Bridge Data或RH20T）结合，显著提升了模型在零样本迁移测试中的成功率。此外，该数据集催生了多种前沿算法研究，例如基于扩散策略（Diffusion Policy）的高精度动作预测、多视角融合的视觉表征学习，以及利用语言指令进行任务分解的分层强化学习框架。DROID还推动了场景级元学习（Scene-Level Meta-Learning）的发展，使机器人能在极少演示下快速适应新环境。这些工作共同确立了该数据集作为机器人通用操作研究基准的重要地位。

数据集最近研究

最新研究方向

在机器人操作策略泛化性研究的前沿，Cosmos3-DROID数据集以其宏大的跨机构协作规模与真实世界多样性脱颖而出。该数据集汇集了来自北美、亚洲与欧洲13个机构18个实验室长达12个月的遥操作演示数据，涵盖564个独特场景与86种任务，为突破机器人策略学习的领域鸿沟提供了前所未有的数据基础。其核心创新在于通过统一的Franka Panda硬件平台，系统性地引入了场景增强机制——包括随机相机重校准、光照变化与物体增删——有效消除了数据收集过程中的偏差，使得联合训练的策略在六项评估任务中相较现有大规模数据集方法平均性能跃升20%。这一成果不仅验证了数据多样性对于策略鲁棒性的催化作用，更预示着以异构真实世界数据驱动通用机器人操作智能的研究范式正迈向成熟。