droid-30-converted

该数据集由LeRobot项目创建，是一个用于机器人学研究的开源数据集。数据集记录了Franka Emika Panda机械臂的操作数据，旨在支持机器人模仿学习、行为克隆或强化学习等任务。数据集包含30个完整的任务序列（episodes），共计7726帧数据，覆盖27个不同的任务。数据以15 FPS的固定频率采样，并以分块形式组织，每块包含1000帧。所有数据均被标记为训练集。数据集是多模态的，主要包含以下特征：来自三个不同相机视角的RGB图像（两个外部左视角和一个腕部左视角），分辨率均为180x320；机械臂的7维关节位置和1维夹爪位置；以及一个8维的动作向量。此外，还包含时间戳、帧索引、episode索引、全局索引和任务索引等元数据。数据以Parquet文件格式存储，总大小约为100 MB，同时提供对应的MP4格式视频文件，总大小约为200 MB。数据集遵循Apache-2.0许可证。This dataset is created by the LeRobot project and is an open-source dataset for robotics research. It records operational data from the Franka Emika Panda robotic arm, aiming to support tasks such as robot imitation learning, behavior cloning, or reinforcement learning. The dataset includes 30 complete task sequences (episodes), totaling 7726 frames of data, covering 27 different tasks. Data is sampled at a fixed frequency of 15 FPS and organized in chunks, with each chunk containing 1000 frames. All data is labeled as training set. The dataset is multimodal, primarily featuring the following: RGB images from three different camera perspectives (two external left views and one wrist left view), each with a resolution of 180x320; 7-dimensional joint positions and 1-dimensional gripper position of the robotic arm; and an 8-dimensional action vector. Additionally, it includes metadata such as timestamps, frame indices, episode indices, global indices, and task indices. Data is stored in Parquet file format, with a total size of approximately 100 MB, and corresponding MP4 format video files are provided, with a total size of about 200 MB. The dataset follows the Apache-2.0 license.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的示范数据集是推动技能学习与策略泛化的关键基石。droid-30-converted数据集基于LeRobot工具链构建，从原始机器人操作数据中提取并转换为标准化格式。该数据集包含30个任务演示回合，共计7726帧数据，覆盖27种不同任务，所有数据均以15帧每秒的采样率采集，并由100兆字节的数据文件和200兆字节的视频文件共同构成。数据集将每一回合的完整操作轨迹存储为parquet文件，并辅以同步录制的多视角视频，便于后续进行行为克隆或模仿学习等算法训练。

特点

该数据集的核心特点在于其多模态信息的丰富集成与结构设计的规范性。数据集中包含三路摄像头视角（两个外部视角与一个腕部视角），均为180×320像素的RGB图像，能够全方位捕捉操作环境与机械臂的交互细节。此外，还完整记录了7维关节位置、1维夹爪开合度以及8维连续动作指令，配合时间戳、帧索引和回合索引等元数据，形成了一套完整的时空轨迹描述。数据以LeRobot标准格式存储，明确划分了训练集与未标注的原始回合，为不同研究任务提供了灵活可靠的数据基础。

使用方法

使用droid-30-converted数据集时，推荐借助LeRobot库进行高效加载与预处理。用户可通过指定配置文件读取parquet格式的序列化数据，并同时加载对应的mp4视频文件，实现图像与状态动作信息的对齐。数据集已预设好训练集划分（0至30回合），可直接用于训练基于视觉的运动策略模型。典型用法包括从缓存中逐批次提取图像观测与动作序列，构建适用于模仿学习或离线强化学习的数据加载器，从而快速实验并评估算法在真实机器人操作任务上的表现。

背景与挑战

背景概述

droid-30-converted数据集由Hugging Face团队基于LeRobot框架构建，诞生于2024年，专注于机器人操作领域的模仿学习研究。该数据集通过Franka Emika Panda机械臂采集，包含30个示范片段（共7726帧），覆盖27种精细操作任务，如抓取、放置等。作为LeRobot生态系统的组成部分，它旨在为机器人学习提供标准化、低门槛的数据基准。通过提供多视角图像（外部相机与腕部相机）、关节位置、夹爪状态及动作序列等异质模态数据，该数据集推动了视觉-运动策略的跨场景泛化研究，尤其为小样本模仿学习与数据高效训练方法的发展奠定了实验基础，对促进具身智能的学术研究与工业应用具有重要参考价值。

当前挑战

该数据集面临的核心挑战首先在于解决机器人操作学习中的数据稀缺与泛化瓶颈。尽管包含了27种任务，30个示范片段的规模仍远小于人类学习所需，导致模型在未曾见过的环境或物体配置下易产生策略退化。其次，数据构建过程中存在显著难点：多视角图像（180×320分辨率）与低帧率（15FPS）的时序对齐需要精密同步，而机械臂执行任务的物理可重复性受限于运动规划误差与传感器噪声。此外，将原始遥操作数据转换为标准化Parquet格式时，异构特征的维度归一化（如7维关节位置与8维动作空间）及缺失值的处理同样构成实践挑战，最终影响了数据集在端到端模仿学习中的信噪比与可用性。

常用场景

经典使用场景

在机器人学习与操控领域，droid-30-converted数据集为模仿学习算法的训练与评估提供了关键支撑。该数据集记录了Franka Emika Panda机械臂在27种不同任务下的30段演示轨迹，包含7726帧的多模态观测数据，涵盖多视角图像、关节位置、夹爪状态及动作序列。研究者通过联合利用视觉与运动信息，可训练机器人从人类示范中习得精细操作技能，实现从感知到动作的端到端映射。其15帧每秒的采样频率与标准化数据格式，尤其适合行为克隆、逆强化学习等经典模仿学习范式的研究与复现。

衍生相关工作

基于droid-30-converted数据集，学术界衍生出一系列里程碑式工作。在算法层面，研究者提出了结合扩散策略与Transformer架构的动作序列生成模型，显著提升了长程任务的成功率。另有工作引入短期记忆机制与在线适应技术，解决了跨工况的域漂移问题。在系统层面，该数据集被用于验证和优化LeRobot框架的全流程能力，证明了其在多机协作场景中的可扩展性。这些衍生研究共同证明，该数据集不仅是算法验证的基石，更成为连接仿真预训练与真实部署的桥梁，推动了通用机器人算子的标准化进程。

数据集最近研究

最新研究方向

droid-30-converted数据集是基于LeRobot框架构建的机器人操控数据集，涵盖27项任务、30个示范片段及7726帧多模态数据（包括外部与腕部视觉图像、关节状态、夹爪位置与动作序列），采用Franka Emika Panda机械臂采集，以15 Hz频率记录。该数据集在具身智能与模仿学习领域具有前沿意义，尤其面向少样本操控策略迁移研究，其结构化的parquet与视频分块存储格式为大规模模块化训练提供了高效支持。当前热点聚焦于利用此类精细标注的遥操作数据训练端到端视觉运动策略，并探索跨任务泛化能力，例如借助扩散策略或行为克隆方法实现复杂场景下的灵巧操作，droid-30-converted作为标准化的开源基准，促进了机器人学习社区在可复现性、多任务联合训练及实时系统集成方面的前沿突破。