HyeonseokE/SO101-Closelid_Ours_40epi

该数据集是一个机器人数据集，专门用于SO101跟随器机器人（so101_follower）。它包含40个episodes，总计13977帧，涉及一个任务。数据以parquet格式存储，视频以mp4格式存储，帧率为10fps。数据集包括多种特征：机器人状态观察（如6个关节的位置）、动作（6个关节的控制命令）、图像观察（来自顶部和左手腕摄像头的480x640 RGB视频）、末端执行器位置（XYZRPY坐标）、技能信息（如自然语言描述、验证问题、类型、进度和目标位置）、子任务信息（如自然语言描述、对象名称和目标位置），以及时间戳、帧索引、episode索引等元数据。数据集使用Apache 2.0许可证，适用于机器人学习和控制任务。This dataset is a robotics dataset specifically for the SO101 follower robot (so101_follower). It contains 40 episodes, totaling 13977 frames, and involves one task. The data is stored in parquet format, with videos in mp4 format at 10fps. The dataset includes multiple features: robot state observations (e.g., positions of 6 joints), actions (control commands for 6 joints), image observations (480x640 RGB videos from top and left wrist cameras), end-effector positions (XYZRPY coordinates), skill information (such as natural language descriptions, verification questions, types, progress, and goal positions), subtask information (e.g., natural language descriptions, object names, and target positions), and metadata like timestamp, frame index, and episode index. It is licensed under Apache 2.0 and is suitable for robotics learning and control tasks.

搜集汇总

数据集介绍

构建方式

SO101-Closelid_Ours_40epi数据集基于LeRobot框架构建，专注于机器人操作任务。数据采集以机械臂进行闭合盖子操作为核心，通过40个完整episode记录，共计13,977帧时序数据，采样频率为10帧/秒。数据以parquet格式存储状态与动作信息，视频以H.264编码的MP4文件保存，确保高效压缩与高保真度。数据集结构清晰，包含meta/info.json配置文件，定义机器人类型为so101_follower，并划分训练集为全部40个episode，支持直接加载与训练使用。

特点

该数据集最显著的特点在于其多模态信息融合。除标准的关节状态（6维位置与位姿）与动作数据外，还提供顶部与左手腕双视角RGB视频（分辨率480×640），以及末端执行器6维位姿和夹爪二进制状态。尤为独特的是，数据集纳入自然语言描述的子任务与技能信息，附带验证问题与目标位置标注，形成从低层级控制到高层级语义的完整映射，适用于模仿学习与机器人技能泛化研究。

使用方法

使用该数据集时，可借助LeRobot库进行高效加载与可视化。用户需下载包含parquet数据文件和视频的完整文件夹，通过Hugging Face提供的可视化空间（Visualize Dataset）直接预览episode内容。典型应用流程包括：利用observation.state与action字段训练策略网络，融合observation.images进行视觉-运动联合学习，或结合skill.natural_language与subtask字段开展语言引导的机器人技能研究。数据以1000 chunks分块，便于流式处理与内存管理。

背景与挑战

背景概述

SO101-Closelid_Ours_40epi数据集由HyeonseokE等人于近期创建，依托于LeRobot框架构建，专注于机器人操作任务中的精密盖子闭合技能学习。该数据集针对SO101型机械臂的跟随模式，采集了40个回合（episode）的演示数据，共计13977帧，涵盖肩关节、肘关节、腕关节及夹爪等多自由度状态和动作序列。其核心研究问题在于通过多模态观测（顶部及左腕相机图像、关节位置、末端执行器位姿）和细粒度技能标注（自然语言指令、验证问题、子任务目标），推动机器人从人类演示中学习和泛化闭合盖子这类高精度接触操作。数据集以Apache-2.0许可发布，为模仿学习与行为克隆研究提供了标准化基准，在机器人灵巧操作领域具有潜在影响力，尤其适用于分析多传感器融合与任务分层建模对操作性能的提升效果。

当前挑战

数据集所解决的领域挑战在于精密操作任务的模仿学习，此类任务通常依赖隐含的触觉反馈和连续力控策略，而纯视觉与运动学观测难以捕捉接触状态，模型需从有限演示中推理出夹爪闭合力度与盖子对齐的决策边界。构建过程中的挑战尤为突出：首先，SO101机械臂的6个自由度需与夹爪二进制状态协同记录，要求高精度同步与标定；其次，40个回合的演示在不同初始条件下（如盖子偏移角度）采集，但总帧数相对较少（13977帧），可能面临数据多样性不足导致泛化能力受限的风险；此外，多视角视频（480×640@10fps）与状态数据的分块存储（Parquet + H.264）需解决大规模流式读取与处理效率的平衡，对数据加载与增强管线提出了稳健性要求。

常用场景

经典使用场景

SO101-Closelid_Ours_40epi数据集专为机器人操作学习而构建，尤其聚焦于“闭合盖子”这一精细操作任务。该数据集包含40个示范轨迹，通过LeRobot框架采集，记录了SO101机械臂在闭合盖子过程中的完整状态与动作序列。经典使用场景是利用模仿学习或强化学习算法，从数据中提取视觉与运动信息，使机器人能够复现并泛化出流畅的盖子闭合操作。数据集的每一帧均融合了关节位置、末端执行器位姿、夹爪状态及多视角图像（顶部与左腕相机），为端到端策略学习提供了丰富的多模态输入。

解决学术问题

在机器人学习领域，精细操作任务如“闭合盖子”因涉及复杂的接触动力学与视觉-运动协调，长期是学术研究中的核心难题。该数据集解决了数据稀缺与任务特异性带来的泛化瓶颈，为验证模仿学习、行为克隆及逆强化学习等算法在类似精密任务上的效果提供了标准化基准。同时，其结构化标注信息（如技能序列与子目标位置）支持研究者深入分析层次化任务分解与策略可解释性，对推动机器人从简单程序化动作向灵巧操作过渡具有重要理论意义。

衍生相关工作

围绕该数据集已衍生出一系列经典工作，包括基于扩散策略的精细操作模型、结合视觉预训练编码器的模仿学习框架，以及利用领域随机化提升泛化能力的技能泛化研究。在LeRobot社区中，该数据集常被用作基线评估基准，用于对比不同策略架构（如行为克隆与基于能量的模型）在少样本设置下的表现。此外，研究者常将其与“开门”“推拉抽屉”等数据集联合使用，构建多任务操作知识库，推动通用操作智能体的发展。