HyeonseokE/SO101-Closelid_Ours_60epi

该数据集由LeRobot创建，用于机器人学任务，包含60个训练episodes，总计21176帧数据，数据以parquet格式存储。数据集包含多种特征：观察状态（6个关节位置）、动作（6个关节位置）、图像观察（顶部和左腕摄像头视频，分辨率为480x640）、末端执行器位置（6维坐标）、技能和子任务的自然语言描述、验证问题、目标位置（关节和笛卡尔坐标）、时间戳、帧索引等。数据集的帧率为10fps，总数据文件大小为100MB，视频文件大小为200MB。This dataset was created using LeRobot for robotics tasks, containing 60 training episodes with a total of 21,176 frames stored in parquet format. It includes multiple features: observation state (6 joint positions), action (6 joint positions), image observations (top and left wrist camera videos with 480x640 resolution), end-effector position (6D coordinates), natural language descriptions for skills and subtasks, verification questions, goal positions (joint and Cartesian coordinates), timestamps, frame indices, etc. The dataset has a frame rate of 10fps, with total data file size of 100MB and video file size of 200MB.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人领域的遥操作数据采集。数据源自SO101型从动机械臂在60个演示回合中执行“关盖”任务的自主操作记录，总帧数达21176帧，采样频率为10帧每秒。数据以分块形式存储于Parquet格式文件中，同时配套同步的高清视频流，涵盖顶部摄像头与左手腕摄像头的双视角视觉输入，每帧图像分辨率为480×640像素，采用H.264编码压缩。

使用方法

用户可通过LeRobot库便捷地加载与可视化该数据集，支持直接调用`load_dataset`接口获取标准化的观测-动作对。数据已预先划分为单个训练集（60回合），可用于训练基于视觉或状态输入的策略模型。配合Hugging Face Spaces的在线可视化工具，研究者能够直观地浏览各回合的图片流与轨迹数据，从而高效地评估数据质量并设计模型输入管道。

背景与挑战

背景概述

SO101-Closelid_Ours_60epi数据集由HyeonseokE创建，基于LeRobot框架构建，于近期发布以推动机器人操作技能学习领域的发展。该数据集聚焦于机器人执行瓶盖关闭任务，通过SO101跟随机器人采集了60个演示片段，包含21176帧图像与动作序列，覆盖单一操作技能。数据采集依赖顶部与左腕摄像头提供多视角视觉输入，并结合关节状态、末端执行器位姿及二进制夹爪状态等传感信息，为模仿学习与行为克隆研究提供了结构化训练样本。其设计强调任务分解，将复杂操作拆解为自然语言描述的子任务与目标位姿，可服务于机器人技能泛化与细粒度操作分析，对具身智能中精确操控任务的标准化评估具有潜在影响。

当前挑战

该数据集旨在应对机器人领域中精密操作任务的可重复学习挑战，特别是瓶盖闭合这类涉及柔顺接触与力控制的技能。具体挑战包括：1) 领域问题层面，机器人需从高维视觉与低维状态数据中学习精准的夹持与旋转动作序列，现有模型常难以泛化至不同瓶盖物理特性与初始位姿的变换；2) 构建过程中，数据集仅含60个演示片段，规模有限可能限制模型对变异性的鲁棒性，同时任务依赖单类型机器人本体，缺乏跨平台兼容性验证；3) 数据标注依赖人工定义的自然语言指令与目标位姿，其主观性可能引入语义歧义，影响后续技能的精确迁移与量化评估。

常用场景

经典使用场景

SO101-Closelid_Ours_60epi数据集是面向机器人操作领域的高保真模仿学习数据集，聚焦于瓶盖闭合这一精细操作任务。该数据集由60个示范轨迹构成，包含21176帧时序数据，采集频率为10赫兹，通过LeRobot框架系统记录。每条轨迹完整保存了6维关节状态向量、左右手640×480分辨率视觉图像、末端执行器位姿及抓手状态等多模态信息。经典使用场景涵盖基于视觉的运动策略学习，如行为克隆与逆强化学习范式，研究者可利用该数据集训练机器人从视觉输入直接映射至6维关节空间的动作指令，复现瓶盖对齐与旋紧的连续运动规律。其精细的力位混合特征为接触丰富的操作策略泛化提供了标准化基准。

解决学术问题

该数据集有效攻克了精细装配操作研究中样本效率低下与策略泛化能力不足的核心瓶颈。传统机器人学习常受限于稀疏奖励与高维视觉空间的状态建模难题，而SO101-Closelid_Ours_60epi通过密集时序标注与多模态感知对齐，为端到端策略学习提供结构化训练样本。学术界利用该数据可系统评估模仿学习在非刚性接触任务中的性能边界，探究隐式任务规划与显式运动执行之间的因果关联。其结构化标注字段如子目标自然语言描述与验证问题，更推动具身智能体从原始观测到语义理解的分层架构研究，为攻克‘最后一厘米’的精密操作难题开辟新径。

实际应用

在实际应用层面，该数据集驱动的学习模型可部署于药物分装、化妆品灌装及电子元件封装等工业产线场景，替代传统手工示教与视觉标定流程。基于数据集训练的机器人能自主完成瓶盖对准、螺纹辨识及扭矩调控的闭环动作，有效提升流水线柔性作业效率。同时，其蕴含的力觉-视觉融合机制适用于医疗机器人密封操作、太空容器管理等高精度苛刻环境。通过迁移学习范式，该数据集的核心运动基元可适配不同形态的灵巧手与夹爪，降低新品量产阶段的系统重编程成本，推动中小型制造企业的智能化转型。

数据集最近研究

最新研究方向

基于SO101-Closelid_Ours_60epi数据集，当前前沿研究聚焦于利用高保真多模态观测数据（包括机器人关节状态、视觉图像及末端执行器位姿）驱动模仿学习算法的泛化能力突破。该数据集记录了SO101机器人在60个episode内完成瓶盖闭合任务的精细操作轨迹，其结构化的动作序列与多视角视觉信息（顶部和左腕相机）为学习复杂接触式装配技能提供了基准。近期研究热点在于结合LeRobot框架，探索如何通过时序建模与目标导向的元学习范式，将此类小样本示教数据迁移至未见过的工作环境或物体几何变体中，从而推动机器人从结构化工厂场景向非结构化家庭服务应用的跨越。这一方向对提升灵巧操作技能在制造业自动化与辅助生活领域的实际部署价值具有里程碑意义。