HyeonseokE/SO101_teleop_close_lid_40epi

该数据集是一个机器人控制数据集，使用LeRobot工具创建。数据集包含40个episodes，总计13521帧，帧率为30fps。它涉及一个so_follower类型的机器人，用于模拟机器人执行任务。数据特征包括动作（action，包含6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（observation.state，与动作相同的6个关节位置）、来自左腕和顶视图的图像观测（observation.images.left_wrist和observation.images.topview，均为480x640分辨率的RGB视频），以及时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习任务，如模仿学习或强化学习，以训练机器人控制模型。This dataset is a robotics control dataset created using the LeRobot tool. It contains 40 episodes, totaling 13,521 frames at a frame rate of 30 fps. It involves a robot of type so_follower, designed for simulating robot task execution. The features include actions (with 6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation states (same 6 joint positions as actions), image observations from left wrist and top views (both as RGB videos with 480x640 resolution), and metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning tasks, such as imitation learning or reinforcement learning, to train robot control models.

搜集汇总

数据集介绍

构建方式

SO101_teleop_close_lid_40epi数据集依托LeRobot框架构建，专注于机器人遥操作任务。通过遥操作方式，采集了40个完整操作回合（episode）的数据，总计13521帧，每个回合均围绕“关闭盖子”这一单一任务展开。数据以Parquet格式存储于分块文件中，并辅以H.264编码的MP4视频记录，视频分辨率统一为480×640像素，帧率为30 FPS。数据集明确划分了训练集（第0至39回合），并采用分块机制优化大容量数据的管理与加载。

特点

该数据集的核心特点在于其高度结构化的多模态同步采集。每条数据记录包含6维动作指令（对应机器人肩、肘、腕及夹爪的关节位置）与相同维度的状态观察，形成闭环控制所需的状态-动作对。视觉方面，提供左腕与俯视两个视角的高清视频流，为精细操作提供了丰富的空间上下文。此外，时间戳、帧索引、回合索引等元数据被完整保留，便于时序建模与回放分析。数据集总大小约300 MB，兼顾了样本规模与存储效率。

使用方法

研究人员可直接利用LeRobot库加载该数据集进行机器人模仿学习或强化学习研究。使用时，需指定路径通过`load_dataset`函数读取Parquet文件与关联视频，数据将自动组织为包含动作、状态、图像及元数据的字典格式。得益于预定义的chunks_size与分块存储结构，迭代批量处理时内存占用可控。该数据集特别适用于验证遥操作策略的迁移效果，例如将人演示的精确动作映射至SO_follower机器人平台，或作为多视角视觉运动策略的训练基准。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一种高效技能获取范式，正日益成为研究焦点。SO101_teleop_close_lid_40epi数据集由HyeonseokE等人于近期创建，依托LeRobot框架构建，专注于机器人灵巧操作中的“合盖”任务。该数据集记录了40个遥操作示范轨迹，包含13521帧、30帧每秒的高频运动数据，以及左右腕部和俯视双视角视频流，为学习精细操作策略提供了标准化数据基础。其基于so_follower机器人的6自由度关节状态与动作空间，推动了具身智能中闭环控制策略的迁移学习研究，在机器人数据驱动方法领域具有示范意义。

当前挑战

该数据集所解决的领域问题聚焦于机器人精密装配中的末端操作灵活性挑战，尤其是合盖这类需多重感知协调的接触性任务，传统几何方法难以适应多样性场景。构建过程中面临三大挑战：一是遥操作采集的高精度同步难题，需确保30帧率下关节状态与多视角视频的时间对齐；二是单一任务（合盖）的示范多样性有限，40个回合可能难以覆盖真实环境中的位姿与力控变化；三是数据规模与平衡性，总帧数13521帧中训练集占全量，缺失验证与测试划分，增加了过拟合风险与泛化评估的不确定性。

常用场景

经典使用场景

SO101_teleop_close_lid_40epi数据集专为机器人操作领域中的闭合盖子任务而设计，其核心应用场景是模仿学习与行为克隆。该数据集通过遥操作收集了40个演示片段，共计13521帧，记录了SO_Follower机器人从初始状态到成功闭合盖子的完整运动轨迹。每个片段同步采集了6维关节动作、关节状态及双目视觉观测（左腕相机与顶部全局相机），为构建从感知到动作的端到端映射提供了高保真训练素材。研究可基于此数据训练策略网络，使机器人学会复现精细的闭合动作，尤其适用于需要精确力位控制的工业装配场景。

解决学术问题

该数据集系统性解决了机器人精细操作中遥操作数据稀缺与泛化性不足的学术困境。通过提供标准化、多模态的闭合盖子操作记录，它使研究者能够攻克小样本模仿学习中的动作精度衰减问题，并利用其包含的40个高质量演示探索数据高效性算法。数据集明确的时空对齐特性（如30FPS视频与关节状态同步）为时序建模与因果推理提供了基准，推动了对‘从演示中提取不变操作风格’这一核心问题的理解。其意义在于为对比不同模仿学习框架（如Diffusion Policy与ACT）提供了统一性能标尺，加速了机器人抓取策略向更脆弱操作场景的迁移研究。

衍生相关工作

基于SO101_teleop_close_lid_40epi的衍生工作主要聚焦于改进模仿学习架构与跨任务迁移能力。典型案例如利用该数据集验证了基于扩散模型的轨迹生成算法在闭合任务中优于传统行为克隆，推动了LeRobot框架下Chunked Diffusion Policy的发展。另有工作结合数据集的时空信息开发了视觉-动作联合嵌入方法，通过对比学习解耦操作动态与场景外观，实现了从闭合盖子到拧紧螺丝的零样本泛化。研究还借鉴了其多视角数据结构，衍生出跨视角特征对齐的隐变量模型，使机器人能在仅提供单一相机视角时仍保持高成功率操作，这些成果共同丰富了机器人技能库的构建范式。