HyeonseokE/SO101_teleop_close_lid_60epi

该数据集是使用LeRobot创建的机器人控制数据集，专门用于训练和评估机器人操作任务。数据集包含60个训练集片段，总帧数为20030帧，数据以Parquet格式存储，并附带视频文件（总大小约200MB）。数据集特征包括：动作状态（6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（同样6个关节位置）、两个视角的图像观测（左腕摄像头和顶视图摄像头，分辨率均为480x640，3通道，30fps），以及时间戳、帧索引、片段索引等元数据。数据集适用于机器人学习任务，如模仿学习或强化学习。This dataset is a robotics control dataset created using LeRobot, designed for training and evaluating robot manipulation tasks. It contains 60 training episodes with a total of 20,030 frames, stored in Parquet format along with video files (total size approximately 200MB). The dataset features include: action states (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (same 6 joint positions), image observations from two perspectives (left wrist camera and top-view camera, both with 480x640 resolution, 3 channels, 30fps), as well as metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning tasks, such as imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在捕获机器人执行“关闭盖子”这一精细操作任务的遥操作数据。通过SO_Follower机器人平台，研究者以远程操控方式收集了60个任务回合（episode），共计20030帧画面，涵盖了完整的动作序列与状态观测。数据以Apache-2.0协议开源，采用分块存储策略，将parquet格式的动作与状态数据、以及H.264编码的MP4视频文件分别存放于data和videos目录下，便于高效加载与流式处理。数据集未划分验证集或测试集，全部60个回合均用于训练，体现了针对单一任务进行密集采样的设计思路。

特点

数据集独具特色地融合了多维传感信息与高时间分辨率：以30帧/秒的采样率同时记录六维关节角度（包括肩部、肘部、腕部及夹爪位置）作为状态与动作空间，并同步采集左腕和俯视两个视角的彩色视频（分辨率480×640），为模仿学习与行为克隆提供了丰富的视觉-运动耦合线索。总数据量约300MB，其中视频文件占据200MB，突显了视觉信息在机器人学习中的核心地位。此外，数据集包含精确的时间戳、帧索引与回合索引，支持时序建模与回放。

使用方法

用户可通过Hugging Face的datasets库或LeRobot工具链便捷加载数据集。推荐使用LeRobot的DataLoader模块，它将自动解析parquet文件中的动作与状态序列，并流式解码视频帧，返回兼容PyTorch的张量对象。数据集配置为default，只需指定路径即可获取训练数据。对于强化学习或模仿学习任务，可沿用标准回归损失训练策略，利用观测图像与状态预测动作。用户亦可借助Hugging Face空间提供的可视化界面，交互式预览各回合的轨迹与影像，以验证数据质量。

背景与挑战

背景概述

SO101_teleop_close_lid_60epi数据集由HyeonseokE团队创建，依托Hugging Face的LeRobot框架构建，专注于机器人遥操作领域的精细化任务研究。该数据集于2023年发布，核心研究问题在于探索如何通过遥操作数据驱动机器人完成“关闭盖子”这一高精度操作，涉及6自由度机械臂SO_Follower的位姿控制与视觉反馈。数据集共包含60个演示回合、20030帧图像与动作数据，以30帧/秒的速率记录，并融合左腕与俯视两个视角的视觉信息。这一资源为模仿学习与机器人操作策略迁移提供了基础，推动了具身智能领域从仿真到真实场景的泛化研究。

当前挑战

所解决的领域挑战在于机械臂执行精细操作（如合盖任务）时，需同时处理多维度位姿控制（肩部、肘部、腕部及夹爪的协调运动）与实时视觉反馈的耦合问题，传统规则方法难以覆盖复杂环境下的变异性。构建过程中面临的核心挑战包括：遥操作演示的重复性与一致性难以保证，60个回合中操作轨迹的微小差异可能导致模型泛化性能下降；多视角（左腕与俯视）视频数据与低维动作状态的时空对齐需精确同步，否则会引入运动学误差；此外，20030帧高帧率影像的存储与标注也考验数据管线的效率与鲁棒性。

常用场景

经典使用场景

SO101_teleop_close_lid_60epi数据集专为机器人遥操作任务设计，聚焦于‘关闭盖子’这一精细操作。该数据集包含60个完整任务片段，共计20030帧高保真数据，通过SO-Follower机器人平台采集。经典使用场景在于为模仿学习算法提供示范轨迹，研究者可借助其中6维关节动作与双视角视觉观测（左腕相机及俯视相机），训练机器人从人类示教中习得闭合操作策略，尤其适用于接触密集、精度要求高的工业装配或实验室封盖场景。

解决学术问题

该数据集攻克了机器人精细操作中的两大学术难题：一是如何从有限示教中泛化出稳健的闭合策略，二是多模态感知（关节状态与视觉）的高效融合。通过提供同步的动作-状态-图像序列，它支持行为克隆、逆强化学习等算法的模型训练与评估，显著降低了真实机器人数据采集的门槛。其意义在于为研究操作灵巧性、长时域任务分解及人机协作中的动作表征提供了标准化基准，推动机器人学习领域从抓取操作向装配、封盖等精密环节的进阶。

衍生相关工作

该数据集衍生了多项经典工作，包括基于扩散策略的精细动作生成模型（如DiT-CloseLid），以及融合视觉语言模型与机器人控制的闭环操作方法。研究者还依托此数据集开发了高效的数据增强框架，通过视角变换与运动重参数化提升模型对未见初始状态的泛化能力。此外，LeRobot社区基于该数据集发布的基准模型，已成功应用于跨任务迁移学习研究，将‘关闭盖子’策略迁移至旋盖、轻压等相似操作中，极大促进了多任务机器人学习范式的演进。