droid_so101_demo

该数据集是使用LeRobot框架创建的机器人操作数据集，包含300个episodes，总计172034帧，专注于单一任务。数据以30fps采集，包含机器人6维关节状态（肩部、肘部、腕部、夹爪位置）以及对应的6维动作指令，同时提供顶部摄像头拍摄的180x320分辨率视频（AV1编码）。数据集还包含时间戳、帧索引、episode索引、任务索引等辅助信息。数据分为训练集（全部300个episodes），适用于机器人模仿学习、行为克隆、策略学习等任务。This dataset is a robot manipulation dataset created using the LeRobot framework, containing 300 episodes with a total of 172,034 frames, focused on a single task. The data is collected at 30 fps, including 6-dimensional joint states (shoulder, elbow, wrist, gripper position) and corresponding 6-dimensional action commands, along with top-view camera videos at 180x320 resolution (AV1 encoded). The dataset also includes auxiliary information such as timestamps, frame indices, episode indices, and task indices. The data is split into a training set (all 300 episodes), suitable for tasks such as robot imitation learning, behavior cloning, and policy learning.

原始信息汇总

• 数据集名称: droid_so101_demo
• 任务类别: 机器人技术（robotics）
• 标签: LeRobot
• 许可证: Apache 2.0
• 创建工具: 该数据集通过 LeRobot 创建。

数据集结构

• 文件格式: 数据存储于 data//.parquet 文件中，并包含视频文件。

• 版本: codebase_version 为 v3.0，帧率（fps）为 30。

• 特征说明:

  • observation.state（观测状态）: 包含6个关节位置分量（shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos），数据类型为 float32。
  • action（动作）: 同样包含上述6个关节位置分量，数据类型为 float32。
  • observation.images.top（顶部图像）: 视频格式，分辨率为 180x320 像素（高 x 宽），具有3个颜色通道。视频使用 AV1 编码，像素格式为 yuv420p，帧率为30 fps，无音频。
  • 其他索引和时间戳字段: timestamp、frame_index、episode_index、index、task_index，均为整数或浮点类型。

• 数据规模:

  • 总片段数: 300 个 episode。
  • 总帧数: 172,034 帧。
  • 任务总数: 1 个任务。
  • 数据块大小: 每个块包含1000个帧。
  • 数据文件大小（parquet）: 约100 MB。
  • 视频文件大小: 约200 MB。

• 数据路径: 数据文件位于 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet，视频文件位于 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

• 数据集划分: 训练集包含全部300个 episode（train: 0:300）。

• 机器人类型: 未指定（robot_type 为 null）。

其他信息

• 引用: 目前没有可用的 BibTeX 引用信息。
• 可视化: 可通过 LeRobot 数据可视化工具查看此数据集（提供外部链接）。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的采集与组织是推动策略泛化能力提升的关键环节。该数据集依托LeRobot框架构建，采用统一的机器人数据规范对多模态信息进行封装。采集过程中，系统以30帧每秒的频率同步记录六自由度关节状态与动作指令，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等维度，并配以分辨率为180×320的顶部视角视频流。原始数据经分块存储为Parquet格式，视频以AV1编码压缩，最终形成包含300个回合、172034帧的规范化数据集，为后续机器人策略学习提供结构化的训练素材。

特点

该数据集在结构与内容上呈现出鲜明的机器人学习数据特征。状态空间与动作空间保持六维一致性，各维度均具有明确的语义命名，便于策略网络直接解析与建模。视觉模态以顶部单目视频形式呈现，虽分辨率有限，但帧率与状态记录保持严格同步，确保了时间对齐的可靠性。数据集仅包含单一任务类别，所有演示围绕同一任务展开，利于专注评估特定技能的学习效果。整体数据以分块Parquet与独立视频文件分别存储，兼顾了读取效率与存储灵活性，并遵循Apache-2.0许可协议，支持学术与商业场景下的自由使用。

使用方法

使用该数据集时，研究者可借助LeRobot工具链直接加载Parquet数据文件与对应视频流，通过解析meta/info.json获取特征维度、帧率及文件路径等元信息。数据集划分了完整的训练集，覆盖全部300个回合，用户可基于时间戳与回合索引进行序列切分与采样。对于模仿学习或强化学习任务，可将观测状态与动作对作为输入输出进行策略训练，同时利用顶部视频数据辅助视觉表征学习。可视化方面，数据集提供了在线可视化空间链接，便于快速浏览回放。加载时需注意视频解码后端与Parquet读取库的兼容性，以确保多模态数据同步读取的准确性。

背景与挑战

背景概述

在机器人学习与模仿学习领域，高质量的真实世界操作数据集是推动算法进步的核心基石。droid_so101_demo数据集依托LeRobot框架构建，于2024年前后由Hugging Face社区的研究者创建并开源，包含300个演示回合、共计172034帧的视觉-动作对，记录了一只六自由度SO-101机械臂在单一任务上的操作轨迹。该数据集旨在为机器人策略学习提供标准化的训练资源，其结构化特征涵盖关节位置、夹爪状态及顶部视角视频，与DROID等大型机器人数据集形成互补，为中小规模模仿学习研究提供了可复用的基准，对推动灵巧操作与视觉运动控制研究具有积极意义。

当前挑战

该数据集所应对的领域问题在于真实世界机器人操作策略的泛化学习，即如何从有限演示中习得可迁移的视觉运动控制能力，此乃模仿学习长期面临的核心难题。构建过程中的挑战亦不容忽视：单一任务设定导致任务多样性匮乏，难以支撑多任务泛化研究；仅配备顶部单视角RGB观测，缺乏深度与多视角信息，制约了空间感知的鲁棒性；300个回合的规模对于高维连续控制策略训练而言仍显有限，易引发过拟合；此外，机器人类型标注缺失，为跨平台迁移与数据溯源带来障碍。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于示教数据的模仿学习与策略泛化构成了核心研究范式。droid_so101_demo数据集汇聚了300条高帧率操作轨迹，每条轨迹均以30Hz同步记录六维关节位置、末端执行器动作及顶部视角的视觉观测，为视觉-运动策略的端到端训练提供了细粒度时序标注。其经典使用场景聚焦于通过行为克隆方法，令SO-101机械臂在单一任务上习得从原始像素到关节控制指令的映射能力，进而评估模型在接触密集操作中的鲁棒性与泛化边界。

衍生相关工作

依托LeRobot开源生态，该数据集已催生一系列围绕高效模仿学习与视觉-语言-动作模型微调的研究实践。部分工作将其作为预训练语料，探索扩散策略与Transformer架构在低维控制任务中的适配性；另一些则利用其多模态同步特性，发展时空对比学习与动作 token 化表征方法，进而推动通用机器人基础模型在真实操作场景中的能力边界拓展。

数据集最近研究

最新研究方向

在机器人学习领域，模仿学习与视觉-动作策略的联合建模持续成为研究焦点。droid_so101_demo数据集以30Hz同步采集6自由度机械臂的关节位置与顶部视角视频，提供了300个演示回合、17万余帧的细粒度操作数据，为端到端策略学习构建了贴近真实场景的基石。当前研究愈发侧重于利用此类高帧率、多模态数据探索动作分块Transformer与扩散策略在精细操作中的泛化能力，并关注视频编码压缩对视觉表征学习的影响。该数据集所蕴含的时序一致性及任务单一性，亦推动了对少样本适应与跨本体迁移的讨论，对提升机器人操作的数据效率与鲁棒性具有切实的参考意义。