DROID

DROID数据集是由斯坦福大学等13个研究机构合作创建的大型机器人交互数据集，包含76,000个轨迹，覆盖564个场景和86种任务。该数据集通过在北美、亚洲和欧洲的52座建筑中收集，历时12个月完成。每个DROID数据集条目包含三个同步的RGB摄像机流、摄像机校准、深度信息和自然语言指令。DROID数据集旨在通过提供多样化的训练数据，提高机器人操作策略的性能、鲁棒性和泛化能力，适用于广泛的机器人研究和应用领域。

The DROID Dataset is a large-scale robotic interaction dataset co-created by Stanford University and 13 other research institutions. It contains 76,000 trajectories, covering 564 scenarios and 86 types of tasks. The dataset was collected over 12 months across 52 buildings in North America, Asia and Europe. Each entry in the DROID Dataset includes three synchronized RGB camera streams, camera calibration data, depth information and natural language instructions. The DROID Dataset aims to improve the performance, robustness and generalization ability of robotic manipulation policies by providing diverse training data, and is applicable to a wide range of robotic research and application fields.

搜集汇总

数据集介绍

构建方式

DROID数据集是通过使用Franka机器人臂和Robotiq 2F-85夹爪进行远程操作收集的。数据集包括从两个外部Zed 2相机获取的RGB图像、机器人的本体感受状态和动作。每个动作包括6D位姿的增量以及1-DoF夹爪动作。为了确保数据质量，研究人员过滤掉了少于40个时间步长的轨迹，并去除了包含不完整或单个单词语言指令的轨迹。经过处理，他们保留了36k个轨迹用于预训练。

特点

DROID数据集的特点在于其广泛的场景多样性和大量数据，这使得它在机器人视觉表示的预训练中具有独特优势。此外，该数据集提供了机器人的状态和动作信息，这些信息对于学习机器人操作的动态至关重要。这些动态标签包含了完成操作任务的核心知识，这在之前从人类数据中预训练的机器人表示中并未得到充分利用。

使用方法

DROID数据集可用于预训练视觉编码器，以便更好地学习机器人操作。具体来说，研究人员提出了一种名为Manipulation Centric Representation (MCR)的新方法，该方法利用机器人数据集中的动态标签来提高机器人表示的操作集中度。MCR方法包括动态对齐损失、动作预测损失和时间对比损失，这些损失在预训练过程中被整合在一起，以增强操作集中度。实验结果表明，MCR方法在模拟和真实机器人任务中均优于基线方法，显著提高了成功率。

背景与挑战

背景概述

DROID数据集是一项关于机器人操作的大规模数据集，由Alexander Khazatsky等人在2024年创建，旨在为机器人学习提供高质量的数据支持。该数据集由Franka机器人臂和Robotiq 2F-85夹具通过远程操作收集，包含76k条轨迹，每条轨迹包括RGB图像、机器人本体状态和动作。DROID数据集的创建填补了机器人领域大规模数据集的空白，为机器人视觉表示的预训练提供了重要资源。该数据集的核心研究问题是如何从大规模机器人数据集中学习出具有操作中心性的机器人表示，以提高机器人操作的效率和性能。DROID数据集的出现对机器人领域产生了深远的影响，推动了机器人视觉表示预训练技术的发展。

当前挑战

DROID数据集面临的挑战主要包括两个方面：1) 所解决的领域问题的挑战：如何有效地利用机器人数据集学习出具有操作中心性的机器人表示，以提高机器人操作的效率和性能；2) 构建过程中所遇到的挑战：如何处理大规模机器人数据集，包括数据清洗、标注、存储和传输等问题。此外，DROID数据集还存在一些局限性，例如数据集的规模相对较小，数据集中机器人操作的种类和场景有限，以及数据集中缺少多模态信息等。这些问题都限制了DROID数据集的应用范围和效果。

常用场景

经典使用场景

DROID数据集是一个大规模的机器人数据集，它包含36K条机器人轨迹，每条轨迹都包括RGB图像、机器人本体感觉状态和动作。这个数据集的经典使用场景是在机器人视觉表示预训练中，通过利用机器人本体感觉状态和动作等动态信息，学习到更具操作中心的表示。具体来说，DROID数据集被用于训练MCR（Manipulation Centric Representation）模型，该模型通过引入动态对齐损失、动作预测损失和时间对比损失等预训练目标，有效地提高了机器人视觉表示的操作中心性，从而在模拟和真实机器人操作任务中取得了显著的性能提升。

实际应用

DROID数据集在实际应用场景中有着广泛的应用。例如，在机器人操作任务中，DROID数据集可以用于训练机器人视觉表示，使得机器人能够更好地理解操作任务，从而提高操作成功率。此外，DROID数据集还可以用于机器人视觉监控、机器人路径规划等领域，为机器人提供更准确的视觉信息，从而提高机器人的性能。在实际应用中，DROID数据集可以帮助机器人更好地理解操作任务，提高操作成功率，降低机器人的能耗，从而提高机器人的效率。同时，DROID数据集还可以帮助机器人更好地适应不同的操作环境，提高机器人的泛化能力。

衍生相关工作

DROID数据集的提出和MCR模型的开发，对机器人视觉表示学习领域产生了深远的影响。首先，DROID数据集为机器人视觉表示学习提供了一个大规模、高质量的数据集，使得研究人员能够更好地研究机器人视觉表示学习问题。其次，MCR模型的提出，为机器人视觉表示学习提供了一种新的方法，该方法通过利用机器人本体感觉状态和动作等动态信息，学习到更具操作中心的表示，从而提高了机器人视觉表示的有效性。此外，DROID数据集和MCR模型的提出，还促进了机器人视觉表示学习领域的研究，使得该领域的研究更加深入和广泛。例如，研究人员可以基于DROID数据集和MCR模型，进一步研究机器人视觉表示学习的理论和方法，探索新的预训练目标，设计更有效的模型架构，从而提高机器人视觉表示的有效性。