HyeonseokE/SO101-Teleop-Open_drawer_20epi

该数据集使用LeRobot创建，专门用于机器人学任务，涉及打开抽屉的操作。数据集包含20个episodes，总计4828帧数据，采样率为30fps。数据结构包括动作特征（如肩部、肘部、腕部和抓取器的位置）、观察状态（与动作相同的关节位置）、图像观察（来自左腕和顶部摄像头的视频，分辨率为480x640，3通道RGB格式），以及时间戳、帧索引、episode索引等元数据。数据以parquet格式存储，视频以mp4格式存储，总数据大小约为100MB，视频大小约为200MB。机器人类型为so_follower，任务类型单一。This dataset was created using LeRobot and is designed for robotics tasks, specifically involving opening a drawer. It consists of 20 episodes with a total of 4828 frames, sampled at 30fps. The data structure includes action features (e.g., positions of shoulder, elbow, wrist, and gripper), observation states (same joint positions as actions), image observations (videos from left wrist and top cameras with resolution 480x640, 3-channel RGB format), and metadata such as timestamp, frame index, episode index. The data is stored in parquet format, videos in mp4 format, with a total data size of approximately 100MB and video size of 200MB. The robot type is so_follower, and there is a single task type.

搜集汇总

数据集介绍

构建方式

SO101-Teleop-Open_drawer_20epi数据集基于LeRobot框架构建，旨在为机器人开门操作提供遥操作训练数据。数据采集过程中，实验者通过主从遥操作控制SO101型跟随机器人（so_follower）执行抽屉开启任务，共收集20个完整演示回合，总计4828帧数据，采样频率为30帧/秒。每个回合均记录6维动作指令（包含肩部、肘部、腕部及夹爪的关节位置）以及对应的机器人本体状态，同时通过左腕和顶部两个视角以640×480分辨率采集RGB视频流，形成多模态观测序列。原始数据被划分为1000帧大小的块，并以Parquet格式存储结构化数据，视频则采用H.264编码压缩，确保高效存取与后续处理。

特点

该数据集的核心特色在于其专注于单一精细操作任务——抽屉开启，却包含了20个高保真演示回合，为模仿学习提供了充足的时空多样性。多模态信息融合了本体感知（6维关节状态）与视觉观测（双视角视频），其中视觉数据记录的是机器人腕部与环境的实时交互场景，能够捕捉到抓取、施力等微妙动态。实验配置具有明确的可复现性：所有回合均基于相同任务索引，训练/测试划分统一（前20回合均用于训练），且数据集包含完整的时间戳、帧索引和回合索引，便于进行时序建模或回放数据验证。此外，遵循Apache-2.0开源协议，进一步降低了学术与工业界的使用门槛。

使用方法

使用者可通过Hugging Face的LeRobot生态工具链直接加载该数据集。推荐调用datasets库结合LeRobot的Dataset类，读取Parquet文件中的结构化动作与状态数据，同时利用内置的视频解码器获取双路影像序列。典型应用场景包括：训练基于行为克隆或扩散策略的机器人操作模型，输入为过去时间窗口内的视觉状态与机器人位姿，输出为期望的关节动作指令。由于数据已按回合自然分割，且每帧包含标准化索引，研究者可轻松实现滑窗式训练或回合层级的数据增强。可视化分析则可通过LeRobot提供的在线演示空间（Spaces）直接交互式浏览各回合的传感器流，加速对数据质量与任务一致性的评估。

背景与挑战

背景概述

SO101-Teleop-Open_drawer_20epi数据集由HyeonseokE研究团队基于LeRobot框架创建，聚焦于机器人遥操作领域中的柜门开启任务。该数据集记录了20个完整操作回合，包含4828帧动作状态与视觉观测数据，通过6自由度机械臂的关节位置指令和双视角高清视频（左腕与顶部）构建了多模态行为克隆训练样本。作为机器人技能学习的基础资源，该数据集为研究从人类示教到机器人自主执行的迁移学习提供了标准化训练基准，在模仿学习、操作策略泛化等方向具有重要参考价值。其Apache-2.0许可协议也降低了学术与工业界的使用门槛。

当前挑战

在领域问题层面，机器人操作任务面临动态环境适应性与动作精确性的双重挑战，柜门开启这类非刚体交互需要模型理解物体物理属性（如阻尼、铰链结构）并生成顺应性运动。从构建角度，遥操作数据采集需解决人机控制映射的时延与噪声问题，而本数据集仅20条轨迹的小样本规模（总帧数不足5000）可能限制深度强化学习算法的泛化能力；此外，单任务设定（唯一柜门开启动作）与固定视角的多模态观测（640×480像素、30fps）难以覆盖真实场景的视觉变化与操作变体，需进一步扩充数据多样性以应对复杂工业场景需求。

常用场景

经典使用场景

SO101-Teleop-Open_drawer_20epi 数据集专为机器人操作任务中的抽屉开启动作而构建，属于模仿学习与遥操作领域的精细化数据资产。其经典使用场景聚焦于训练机械臂通过视觉与关节状态信息，自主复现拉拽抽屉的连续运动轨迹。数据集包含20个完整回合、近5000帧高帧率记录，并同步采集了顶部与左腕两个视角的视觉流，辅以六维关节动作序列。这使得它成为评估端到端行为克隆算法在接触式操作任务上鲁棒性的理想基准，尤其适用于验证模型对刚性物体交互中力反馈与位姿精度的习得能力。

实际应用

在实际应用中，该数据集赋能服务机器人完成厨房、办公室或仓储环境中抽屉开关的自动化操作。通过在此数据集上训练的模型，机器人能够协同视觉感知与运动控制，精准执行拉拽、推合等动作，从而辅助人类完成物品存取、文件整理等日常任务。在工业场景中，它可适配至质检工位或维修辅助机器人，用于打开设备柜门。此外，数据集的遥操作采集方式为远程手术或危险环境作业中的灵巧操作提供了可迁移的示范库，降低了对人工编程的依赖，提升了机器人部署的灵活性与安全边界。

衍生相关工作

该数据集衍生出一系列基于模仿学习与强化学习的经典工作。在行为克隆领域，研究者依托其轨迹数据开发了融合注意力机制的视觉-运动策略网络，显著提升了长时域动作预测的精确性。在逆强化学习框架下，该数据集被用作奖励函数学习的示范库，推理出抽屉开启任务隐含的力控偏好与速度约束。同时，部分工作将其与领域随机化技术结合，通过增加视觉纹理和物理参数扰动，训练出对未见过抽屉类型具有零样本迁移能力的鲁棒策略。这些衍生研究共同催生了交互式操作数据集的新评估范式，推动了从原始观察直接到伺服指令的端到端机器人学习生态成熟。