HyeonseokE/SO101_teleop_close_lid_20epi

该数据集使用LeRobot创建，包含20个episodes和6940帧数据，用于机器人学任务。数据以parquet格式存储，特征包括6维动作向量（如肩部、肘部、腕部关节位置和夹爪位置）、6维观测状态向量（与动作相同）、左腕摄像头图像（480x640 RGB视频）和俯视摄像头图像（480x640 RGB视频），以及时间戳、帧索引、episode索引等元数据。视频数据以30fps的h264编码存储，无音频。

This dataset was created using LeRobot, containing 20 episodes and 6940 frames for robotics tasks. Data is stored in parquet format, with features including 6-dimensional action vectors (e.g., shoulder, elbow, wrist joint positions and gripper position), 6-dimensional observation state vectors (same as actions), left wrist camera images (480x640 RGB video) and top-view camera images (480x640 RGB video), along with metadata such as timestamp, frame index, and episode index. Video data is stored with h264 encoding at 30fps, without audio.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人遥操作任务，具体为执行关闭盖子（close lid）这一操作。数据集包含20个演示片段（episodes），总计6940帧数据，由so_follower型机器人采集完成。每个片段记录了机器人在执行任务时的完整状态与动作序列，包括6维关节空间下的动作指令（action）和观测状态（observation.state），覆盖肩部、肘部、腕部及夹爪等多个自由度。数据以parquet格式存储于分块文件中，并辅以两个视角（left_wrist和topview）的同步视频记录，视频流采用H.264编码，分辨率为480×640，帧率为30fps。整体数据集被划分为训练集（0至20片段），便于直接用于模仿学习或强化学习模型的训练。

特点

该数据集的核心特点在于其结构化的多模态融合设计。一方面，数据提供了精确的低维状态信息（6维关节位置），另一方面，同步采集了高维视觉观测（双视角RGB视频），这为研究视觉-运动联合表征提供了丰富素材。数据集包含的20个轨迹片段虽然规模中等，但每个片段均保持30Hz的高采样频率，确保了动作序列的时间连续性。此外，数据集中显式区分了动作（action）与状态（state），并且状态信息与动作空间维度一致（均为6维），这种设计简化了策略学习中的输入输出映射。视频数据以独立文件存储，配合元数据中详细的编码参数（如分辨率、帧率、色彩格式），支持高效的流式加载。

使用方法

通过LeRobot库可便捷地加载和使用该数据集。用户可利用LeRobot的dataset接口，指定数据集标识符'HyeonseokE/SO101_teleop_close_lid_20epi'直接读取，返回的数据对象自动包含动作、状态与图像等关键字段。在训练过程中，可将观测图像与关节状态拼接作为策略网络的输入，将6维关节动作作为预测目标。数据集预置的splits配置已自动划分训练集（全部20个片段），用户可直接迭代数据批次。视频帧可通过LeRobot的video解码功能按需转换为numpy数组，支持实时索引与随机访问。对于模仿学习场景，推荐采用LeRobot内置的dataloader配合数据增强（如随机裁剪、颜色抖动）以提升泛化性能。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖高质量演示数据以实现技能迁移，而SO101_teleop_close_lid_20epi数据集正是为此而生。该数据集由HyeonseokE等人基于LeRobot框架于近期构建，聚焦于机械臂执行“关闭盖子”这一精细操作任务。通过SO_Follower机器人遥操作采集，数据集包含20个示范轨迹、总计6940帧状态与动作序列，涵盖肩部、肘部、腕部及夹爪的六维关节控制信息，并辅以左腕和顶视双视角视频流（30FPS，640×480分辨率）。其核心研究问题在于：如何利用小样本遥操作数据驱动机器人掌握闭合动作的策略泛化能力。作为开源资源（Apache-2.0许可），该数据集为机器人模仿学习、行为克隆及多模态感知融合研究提供了标准化基准，尤其推动了精细操作任务中数据效率与模型鲁棒性的探索。

当前挑战

该数据集所应对的领域挑战在于解决机器人精细操作技能的高效获取难题——传统强化学习难以直接处理“关闭盖子”这类需要精确位姿控制与力反馈的动作序列，而模仿学习又受限于演示数据的规模与质量。具体而言，构建过程中面临多重瓶颈：首先，遥操作数据采集需克服人体工效学限制，20个轨迹的样本量在覆盖多样初始状态与噪声扰动时显得不足；其次，六维关节空间的动作标注与高帧率视频流（30FPS）的同步对齐存在时序偏差风险；此外，双视角视觉观测（左腕与顶视）需应对遮挡、反射及光照变化等环境干扰，保证特征一致性；最后，数据格式依赖parquet与h264压缩，在保持100MB结构化数据与200MB视频文件的同时，需平衡存储效率与回放保真度，为后续模型训练的数据加载与预处理提出优化挑战。

常用场景

经典使用场景

SO101_teleop_close_lid_20epi数据集作为机器人遥操作领域的精细化样本集，其核心应用场景聚焦于模仿学习算法的训练与验证。该数据集记录了20个完整轨迹片段，涵盖6自由度机械臂在‘关闭盖子’这一精密操作任务中的状态-动作序列，并同步采集了左腕与俯视双视角视觉信息。研究者可利用这些高保真示范数据，训练策略网络从观察状态映射至连续动作空间，尤其适合探索视觉-运动耦合背景下基于行为克隆或逆强化学习的控制策略。

衍生相关工作

围绕该数据集衍生的经典工作包括：基于分块编码的时序卷积网络学习器，其使用该数据验证了动作分块策略在短程操作中的有效性；以及结合对比学习与注意力机制的表征增强框架，通过跨视觉模态的隐空间对齐提升策略泛化性。另有研究引入对抗扰动训练技术，利用该数据集检验噪声环境下策略的鲁棒性，为安全关键型机器人部署提供了准则。这些工作共同推动了遥操作数据向通用技能基模型的转化进程。

数据集最近研究

最新研究方向

该数据集聚焦于机器人遥操作与模仿学习的前沿方向，通过SO101型机械臂执行‘关闭盖子’这一精细操作任务，采集了20个示教回合共6940帧的高保真运动轨迹与视觉数据。结合LeRobot开源框架，该数据集为具身智能研究提供了多模态学习基准，可支撑基于视觉-运动联合表征的闭环技能泛化研究。在当前机器人学习领域，遥操作数据的高效利用是突破样本效率瓶颈的关键，该数据集通过标准化parquet与H.264视频格式，适配了最新的离线策略优化和预训练范式，其紧凑结构（6维关节空间与双视角视觉）为细粒度操作技能的可迁移性分析奠定了实证基础。