DROID

DROID数据集由多个研究机构联合创建，专注于机器人操作任务的大规模数据收集。该数据集包含36,000条机器人轨迹，涵盖了多种复杂的操作场景和任务。数据集的创建过程结合了机器人自身的感知状态和动作数据，通过引入对比损失和动作预测损失来优化数据集的质量。DROID数据集主要应用于机器人视觉表示的预训练，旨在提高机器人操作任务的成功率和效率。

The DROID Dataset was collaboratively created by multiple research institutions, focusing on large-scale data collection for robotic manipulation tasks. This dataset contains 36,000 robotic trajectories, covering a wide variety of complex manipulation scenarios and tasks. The construction of the dataset integrates the robot's own perceptual states and action data, and optimizes the dataset quality by introducing contrastive loss and action prediction loss. The DROID Dataset is primarily applied for pre-training of robotic visual representations, aiming to improve the success rate and efficiency of robotic manipulation tasks.

搜集汇总

数据集介绍

构建方式

DROID数据集的构建基于大规模机器人操作数据，通过使用Franka机器人臂和Robotiq 2F-85夹持器进行远程操作收集。数据集包含76k条轨迹，每条轨迹包括来自两个外部Zed 2摄像机的RGB图像、机器人本体感受状态和包含delta 6D姿态及1-DoF夹持器动作的动作。为确保数据质量，过滤掉少于40个时间步的轨迹，并去除包含不完整或单字语言指令的轨迹，最终保留36k条轨迹用于预训练。

使用方法

DROID数据集主要用于预训练视觉编码器，以学习机器人操作任务的视觉表示。通过在数据集上预训练视觉编码器，可以提取出与机器人操作相关的视觉特征和动态信息。预训练后的编码器可以用于下游任务的策略学习，通过模仿学习（Imitation Learning）或行为克隆（Behavior Cloning）等方法，将预训练的视觉表示应用于实际的机器人操作任务中，从而提高任务的成功率和泛化能力。

背景与挑战

背景概述

DROID数据集是由加州大学圣地亚哥分校、同济大学、上海交通大学、马里兰大学和清华大学等多个研究机构共同创建的，专注于机器人操作任务的大规模机器人数据集。该数据集的核心研究问题是如何从大规模机器人数据中学习到以操作为中心的机器人表示，以提高机器人在下游任务中的表现。DROID数据集的创建时间为2024年，主要研究人员包括Guangqi Jiang、Yifei Sun、Tao Huang等。该数据集通过引入一种名为‘manipulation centricity’的机器人表示评估指标，展示了其与下游策略性能的强相关性，从而设计了一种新的预训练方法，即MCR（Manipulation Centric Representation），以从大规模机器人数据集中学习以操作为中心的表示。

当前挑战

DROID数据集在构建过程中面临的主要挑战包括：1) 缺乏大规模的领域内机器人数据集，导致先前的工作不得不利用野外的人类视频来预训练机器人视觉表示，尽管这些方法取得了一定的成果，但人类视频不可避免地存在分布偏移问题，并且缺乏完成任务所需的动力学信息。2) 在构建过程中，如何有效地从机器人数据中提取和利用动力学信息，以增强机器人表示的‘manipulation centricity’，是一个重要的技术难题。此外，如何确保预训练的表示在不同模拟和真实机器人任务中的泛化能力，也是一个亟待解决的挑战。

常用场景

经典使用场景

DROID数据集在机器人视觉表示学习中发挥了关键作用，特别是在预训练阶段。通过利用DROID数据集中的大规模机器人操作轨迹，研究者们能够设计出一种名为Manipulation Centric Representation（MCR）的新预训练方法。这种方法不仅捕捉了视觉特征，还整合了操作任务中的动态信息，如动作和本体感受状态。MCR在预训练过程中引入了对比损失，将视觉观察与机器人的本体感受状态-动作动态对齐，结合动作预测损失和时间对比损失，从而显著提升了下游任务的表现。

解决学术问题

DROID数据集解决了机器人视觉表示学习中的一个核心问题，即如何从大规模机器人数据中提取有效的表示，以提高下游任务的性能。传统的预训练方法通常依赖于人类视频数据，但这些数据存在分布偏移和缺乏动态信息的问题。DROID数据集通过提供丰富的机器人操作轨迹，使得研究者能够开发出更有效的预训练方法，显著提升了机器人操作任务的成功率。这一研究不仅推动了机器人视觉表示学习领域的发展，还为实际应用中的机器人操作提供了强有力的支持。

实际应用

DROID数据集在实际应用中展示了其巨大的潜力，特别是在机器人操作和自动化领域。通过利用DROID数据集进行预训练，机器人能够更准确地理解和执行复杂的操作任务，如抓取、放置和组装。这些能力在制造业、仓储物流和家庭服务机器人等多个领域都有广泛的应用前景。此外，DROID数据集还促进了机器人与环境的交互能力的提升，使得机器人能够更好地适应不同的操作环境和任务需求。

数据集最近研究

最新研究方向

在机器人操作领域，DROID数据集的最新研究方向聚焦于通过大规模机器人数据预训练视觉表示，以提升机器人操作任务的性能。研究者们提出了基于动态对齐和动作预测的预训练方法，旨在从机器人数据中学习更具操作中心性的表示。这一方向的研究不仅显著提高了模拟环境中的操作成功率，还在真实机器人任务中展现了优越的泛化能力。通过引入时间对比损失和动态对齐损失，研究进一步强化了表示与机器人状态-动作动态的关联，从而在多个模拟和真实操作任务中取得了领先的表现。

相关研究论文

• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets

  加州大学圣地亚哥分校、同济大学、上海交通大学、马里兰大学、清华大学 · 2024年