HyeonseokE/SO101-Openlid_Ours_60epi

该数据集是一个用于机器人学的数据集，使用LeRobot创建。它包含60个episodes，总计20192帧，针对单一任务设计，数据采集频率为10fps。数据集记录了机器人（类型为so101_follower）的状态观测（如关节位置、末端执行器位置和姿态）、动作指令、来自顶部和左腕摄像头的图像视频，以及自然语言技能描述、任务验证问题、技能类型、进度和目标位置等信息。此外，还包括子任务的自然语言描述、对象名称和目标位置。数据以parquet文件格式存储，视频以mp4格式存储，适用于机器人控制、模仿学习或强化学习等研究。This dataset is designed for robotics and was created using LeRobot. It consists of 60 episodes, totaling 20,192 frames, for a single task, with data collected at 10 fps. The dataset records robot (type: so101_follower) state observations (e.g., joint positions, end-effector positions and orientations), action commands, image videos from top and left wrist cameras, as well as natural language skill descriptions, skill verification questions, skill types, progress, and goal positions. Additionally, it includes natural language descriptions for subtasks, object names, and target positions. The data is stored in parquet format, with videos in mp4 format, suitable for research in robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-Openlid_Ours_60epi数据集依托于LeRobot框架构建，专为机器人模仿学习任务设计。该数据集通过操控SO101型从动机器人进行60个完整的操作片段采集而成，共获取20192帧有效数据。数据以Parquet格式存储，并辅以H.264编码的高清视频记录，帧率统一设定为10帧/秒。采集的信息涵盖多维度的机器人状态与动作，包括关节位置、末端执行器的三维空间位姿、以及来自顶部和左手腕的视觉图像流。此外，数据集还精细标注了任务的自然语言描述、验证问题、技能类型与进度，以及子目标位置等元信息，为机器人技能学习提供了结构化的数据基础。

特点

该数据集的核心特征在于其多模态与层次化的信息结构。它同时提供了高维度的视觉观测（640x480分辨率）和低维度的状态矢量，如6维关节位置与6维末端位姿，使得从感知到控制的映射学习成为可能。尤为突出的是，数据集不仅包含基础的“状态-动作”对，还深度嵌入了任务语义信息，包括自然语言指令、技能验证问题以及子目标分解，形成了从宏观任务意图到微观关节动作的完整语义链路。这种设计使得该数据集不仅能用于端到端的策略学习，更是研究任务分解、技能组合与语言引导机器人行为的理想素材。

使用方法

该数据集可通过HuggingFace的LeRobot库便捷加载与可视化。用户可利用LeRobot生态系统提供的`visualize_dataset`工具直观观察数据样本，或直接通过代码加载Parquet数据流和视频文件。数据集已预设训练分割，100%的片段用于训练，便于快速启动模仿学习模型的训练流程。使用时，研究者需关注数据特征中的关键字段：以`observation.state`和`observation.images.*`作为模型输入，以`action`作为监督目标。同时，`skill.natural_language`和`subtask`系列字段可用于构建条件策略或多任务学习范式，充分发挥数据集的语义标注优势。

背景与挑战

背景概述

该数据集由HyeonseokE等研究人员于近期创建，基于LeRobot框架构建，聚焦于机器人操控领域的模仿学习研究。核心研究问题在于如何通过示范数据训练机器人，使其能够自动完成如开盖等精细操作任务。数据集包含60个示范轨迹、超过2万帧视觉与状态信息，并采用SO101型机械臂采集，为机器人技能学习提供了结构化的多模态数据。作为开源资源，该数据集推动了机器人学习社区的发展，尤其为基于视觉的操控任务提供了基准测试平台。

当前挑战

领域挑战方面，机器人开盖等精细操控任务面临高精度控制与泛化能力的双重难题，现有方法在应对不同物体姿态或环境变化时鲁棒性不足。构建过程中，数据采集需同步多传感器信息（包括视觉、关节角度与末端执行器位姿），并对示范动作进行精确标注；同时，60个示范轨迹的有限规模难以覆盖复杂任务的全部状态空间，如何从有限数据中高效学习表现出流畅且稳定的操控策略仍是亟待突破的瓶颈。

常用场景

经典使用场景

SO101-Openlid_Ours_60epi数据集专为机器人操作技能学习与模仿学习而设计，基于LeRobot框架构建，记录了SO101型跟随机械臂在60个完整回合中执行开盖任务的精细数据。每条轨迹包含6维关节角度状态与对应动作、顶部及左手腕摄像头采集的640×480分辨率视频流，以及末端执行器六维位姿信息。该数据集最经典的用法是训练端到端的视觉运动策略，通过监督学习或行为克隆方法，使机器人从观测图像与状态中直接映射出关节级控制指令，实现自主完成同类开盖操作的能力。

实际应用

在实际部署中，该数据集训练的模型可赋予服务机器人或协作机器人精准操控盖类物体的能力，例如在药品分装线完成瓶盖自动旋紧、在智能家居中辅助开启密封罐体。结合其丰富的技能标签与验证机制，开发人员能构建可靠的人机协同场景，机器人可在半结构化环境中通过自然语言指令切换子任务，并利用视觉反馈自适应调整抓取姿态。面向工业场景，该数据为欠驱动抓手的力位混合控制提供了演示素材，显著缩短了从程控演示到柔顺操作之间的工程调试周期。

衍生相关工作

围绕此数据集中包含的关节轨迹与多视角视频，研究者已衍生出若干代表性工作：一是基于潜在动作空间的条件变分自编码器策略，利用6维状态向量实现潜在空间中的轨迹插值；二是引入时序对比学习框架，从摄像头序列中提取与动作高度相关的视觉表征；三是结合技能进度与子目标预测的Transformer架构，将开盖任务拆解为对齐、旋拧、释放等子阶段。这些工作在LeRobot生态中复现并开源，进一步验证了该数据集在推动模块化技能库构建与可解释策略学习方面的重要价值。