DROID

DROID是一个大规模的野外机器人操作数据集，用于训练和评估政策。

DROID is a large-scale dataset of robotic operations in the wild, designed for training and evaluating policies.

原始信息汇总

数据集概述

数据集名称

• DROID：一个大规模、野外的机器人操作数据集。

数据集格式

• RLDS格式：所有DROID数据集均提供为RLDS格式，便于与其他机器人学习数据集（如Open X-Embodiment）共同训练。

数据集大小

• 完整数据集：1.7TB。
• 示例数据集：2GB，包含100个DROID轨迹。

数据集下载

• 完整数据集下载命令：gsutil -m cp -r gs://gresearch/robotics/droid <path_to_your_target_dir>
• 示例数据集下载命令：gsutil -m cp -r gs://gresearch/robotics/droid_100 <path_to_your_target_dir>

数据集准备

• 数据收集：建议在目标域中收集少量远程操作数据集，并转换为RLDS训练格式。
• 数据格式转换：提供将数据转换为RLDS格式的指导。

数据集使用

• 训练政策：通过更新配置文件中的DATA_PATH、EXP_LOG_PATH和EXP_NAMES来训练政策。
• 数据加载：提供了一个独立的示例脚本来加载DROID数据。

数据集评估

• 政策评估：安装DROID后，使用evaluate_policy.py脚本评估训练的政策。

数据集相关文档

• 开发者文档：提供关于原始数据格式的详细描述。

数据集引用

• 引用格式：请参阅README文件中的完整引用信息。

搜集汇总

数据集介绍

构建方式

DROID数据集的构建基于大规模的实际机器人操作场景，涵盖了多种复杂的操作任务。该数据集通过在真实环境中采集机器人操作轨迹，并将其转换为RLDS（Robot Learning Dataset Standard）格式，以便与其他机器人学习数据集进行联合训练。数据集的构建过程中，还提供了原始的高分辨率立体图像数据，以满足不同训练管道的需求。此外，数据集的构建还考虑了目标域中的少量示范数据，通过协同训练提升策略在目标环境中的表现。

特点

DROID数据集的主要特点在于其大规模、多样性和真实性。该数据集包含了丰富的机器人操作任务，涵盖了从简单到复杂的多种场景，且数据来源于实际操作环境，确保了数据的真实性和实用性。此外，数据集采用RLDS格式，便于与其他机器人学习数据集进行联合训练，增强了数据集的通用性和扩展性。数据集还提供了高分辨率的原始图像数据，为需要详细视觉信息的训练任务提供了支持。

使用方法

使用DROID数据集进行训练和评估时，首先需要通过Google Cloud Bucket下载数据集，并将其存储在指定的目录中。数据集支持RLDS格式，用户可以通过更新配置文件中的参数来启动训练，如数据路径、实验日志路径和实验名称等。训练过程中，建议使用较大的shuffle buffer以确保样本的随机性。此外，数据集还提供了HDF5格式的支持，用户可以根据需求选择合适的数据格式进行训练。训练完成后，用户可以通过提供的评估脚本对训练策略进行评估，并根据需要调整参数以优化性能。

背景与挑战

背景概述

DROID数据集是一个大规模的、真实场景中的机器人操作数据集，由Alexander Khazatsky等人于2024年创建。该数据集的核心研究问题集中在机器人操作策略的学习与评估上，旨在通过丰富的真实场景数据，推动模仿学习算法的发展。DROID数据集的构建基于`robomimic`代码库，并提供了详细的文档和可视化工具，以便研究人员能够更好地理解和利用该数据集。该数据集的发布对机器人学习领域具有重要影响，尤其是在策略学习与评估方面，为研究人员提供了一个强大的工具来验证和改进机器人操作算法。

当前挑战

DROID数据集在构建和应用过程中面临多项挑战。首先，数据集的规模庞大，达到1.7TB，这要求高效的存储和处理技术。其次，数据集的多样性和复杂性使得数据预处理和标注变得尤为困难。此外，如何在真实机器人环境中有效评估和应用训练出的策略，也是一个重要的挑战。最后，数据集的格式兼容性问题，尤其是与RLDS格式的转换，增加了数据处理的复杂性。这些挑战不仅涉及技术层面，还包括数据集的可用性和实用性，以确保研究人员能够充分利用该数据集进行深入研究。

常用场景

经典使用场景

DROID数据集在机器人操作领域中被广泛应用于策略学习和评估。其经典使用场景包括通过模仿学习算法开发，利用大规模的野外机器人操作数据进行策略训练。数据集支持RLDS格式，便于与其他机器人学习数据集（如Open X-Embodiment）进行联合训练，从而提升策略在目标环境中的表现。

实际应用

DROID数据集在实际应用中主要用于机器人操作策略的训练和评估。例如，在工业自动化、家庭服务机器人等领域，通过使用该数据集训练的策略，机器人能够更高效地完成复杂的操作任务。此外，数据集还支持在真实机器人平台上进行策略评估，确保训练的策略能够在实际环境中有效执行。

衍生相关工作

DROID数据集的发布催生了一系列相关研究工作。例如，基于该数据集的扩散策略（Diffusion Policy）研究，通过引入扩散模型来优化机器人操作策略。此外，数据集还促进了与其他机器人学习数据集的联合训练方法的研究，进一步提升了策略的泛化能力。这些衍生工作不仅丰富了机器人操作领域的研究内容，也为实际应用提供了更多可能性。