HyeonseokE/SO101-Closelid_Ours_20epi

该数据集是一个机器人控制数据集，使用LeRobot创建，专门用于SO101跟随者机器人。数据集包含20个完整的情节，总计6723帧，仅涉及一个任务。数据以parquet文件格式存储，总大小为100MB，视频文件大小为200MB，帧率为10fps。数据集的特征包括观察状态（6个关节位置）、动作（6个关节位置）、来自顶部和左腕摄像头的图像（分辨率480x640，3通道）、末端执行器位置（XYZRPY坐标）、夹持器二进制状态、技能信息（自然语言描述、验证问题、类型、进度、目标位置）、子任务信息（自然语言描述、对象名称、目标位置）以及时间戳、帧索引、情节索引等元数据。所有数据仅用于训练，适用于机器人学习和控制研究。This dataset is a robotics control dataset created using LeRobot, specifically for the SO101 follower robot. It contains 20 complete episodes, totaling 6723 frames, and involves only one task. The data is stored in parquet format, with a total size of 100MB for data files and 200MB for video files, at a frame rate of 10fps. The dataset features include observation state (6 joint positions), action (6 joint positions), images from top and left wrist cameras (resolution 480x640, 3 channels), end-effector position (XYZRPY coordinates), gripper binary state, skill information (natural language description, verification question, type, progress, goal positions), subtask information (natural language description, object name, target position), and metadata such as timestamp, frame index, and episode index. All data is intended for training purposes and is suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，面向SO101型机械臂的‘关盖’任务场景。通过远程操控SO101 Follower机器人，采集了20个完整演示片段（episodes），共计6723帧数据。原始数据以Parquet格式存储，每1000帧为一个数据块（chunk），同时视频数据以H.264编码的MP4文件保存。数据集包含多个观测模态，如机器人6维关节状态（位置、夹爪）、末端执行器位姿（位置与欧拉角），以及顶部和左手腕的双摄像头视觉信息。此外，每条轨迹还附有技能和子任务的自然语言描述、验证问题、目标位置等语义标签，形成了多模态、带有层级标注的机器人操作数据集。

特点

数据集的核心特点在于其丰富的多模态结构和精细的语义层级标注。除基础的状态-动作对（6维关节指令）外，还提供了自然语言指令、验证问题、技能进度、子任务对象与目标位置等字段，支持从低层控制到高层任务理解的联合学习。视觉部分包含两路640×480像素、10帧/秒的RGB视频，兼顾了全局与局部视野。所有数据以统一的Parquet和MP4格式组织，并公开了元数据JSON，便于解析和可视化。其20个独立回合确保了单任务场景下的数据多样性和可重复性。

使用方法

数据集可通过LeRobot库高效加载与使用。用户只需指定HuggingFace数据集标识符‘HyeonseokE/SO101-Closelid_Ours_20epi’，即可自动下载并解析为包含所有模态的字典结构。训练时，可将观测图像、关节状态输入策略网络，以6维动作为预测目标；而附带的语言与技能标签可用于多任务学习或合成训练指令。配合LeRobot的可视化工具，还能在浏览器中逐帧回放演示，辅助数据验证。整个数据集采用Apache 2.0许可证，适宜学术与工业界的复制训研究。

背景与挑战

背景概述

SO101-Closelid_Ours_20epi数据集由HyeonseokE等人创建，基于LeRobot平台构建，服务于机器人操作领域的研究。该数据集专注于单一任务——机械臂闭合盖子，旨在通过20个演示回合（共6723帧）提供高质量的机器人状态与视觉数据。其核心研究问题在于如何利用有限样本实现精确的机械臂操作学习，推动了模仿学习与机器人技能获取的发展。作为开放式数据集，它采用Apache-2.0许可，降低了机器人研究的数据门槛，对细粒度操作任务的算法验证与基准测试具有重要参考价值。

当前挑战

该数据集面临的核心挑战在于解决机器人精细操作中数据稀缺与泛化能力的矛盾。具体而言，包含两个层面：首先，在领域问题层面，如何从少量高质量演示中提取鲁棒的操控策略，以应对环境变化（如光照、物体位置偏移）和机械臂运动学的不确定性。其次，在构建过程中，需要精确同步高分辨率图像（640×480@10fps）与关节状态（6维向量），并确保演示动作的连贯性与多样性，避免过拟合于特定轨迹。此外，视频与状态数据的对齐、存储效率（视频约200MB）及任务描述的自然语言嵌入也构成了技术挑战。

常用场景

经典使用场景

在机器人操作领域，该数据集为模仿学习与行为克隆研究提供了高质量的闭环演示样本。其核心应用场景聚焦于精密盖体装配任务，通过采集SO101型机械臂在20个完整演示回合中的关节状态、末端执行器位姿及多视角视觉信息，构建了从感知到动作的端到端映射关系。研究者可基于这些时序对齐的数据对神经网络策略进行训练，使机器人学会如何根据当前视觉观测和关节角度，生成平滑的关节空间动作序列，从而复现人类演示的关闭容器盖的精细操作。

实际应用

在实际产业应用中，该数据集积累的演示经验可直接用于部署面向柔性制造场景的机器人编程解决方案。例如在电子元件封装、药品灌装或食品容器密封等生产线上，工程师可利用这些数据训练机械臂自主完成高重复性且要求洁净环境的上盖闭合操作。数据集中包含的‘技能进度’与‘验证问题’字段，更支持构建具备自检能力的智能作业单元，这在医疗耗材或精密仪器的自动化装配中具有不可替代的价值。

衍生相关工作

基于该数据集的范式，衍生出了一系列关于少样本机器人操作策略研究的前沿工作。例如利用隐含语义先验的语言条件模仿学习算法，通过解析数据中的自然语言技能描述来提升跨任务泛化能力；或是开发基于扩散策略的动作生成模型，从数据噪声中重建精细运动轨迹。此外，研究者还探索了利用多视角视频数据构建三维空间表征的方法，使机器人能够从单一演示中总结出具有几何不变性的操作逻辑，这些工作共同推动了从封闭实验室到开放真实环境的操作技能迁移。