HyeonseokE/SO101-Teleop-Open_drawer_60epi

该数据集是一个机器人数据集，专注于使用so_follower机器人类型执行任务，具体任务为打开抽屉。它包含60个episodes，总计13710帧，数据以30fps的视频格式记录。数据集结构包括动作特征（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）、观察状态（与动作相同的关节位置）、来自左腕摄像头和顶部摄像头的图像视频（分辨率480x640，3通道，H.264编码），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，适用于机器人学习和控制任务。

This dataset is a robotics dataset focused on tasks performed using the so_follower robot type, with the specific target task being drawer opening. It contains 60 episodes and a total of 13710 frames, recorded as 30fps video footage. The dataset structure includes action features (such as shoulder pan, shoulder lift, elbow flexion, wrist flexion, wrist roll, and gripper position), observation states (identical joint positions to those in the action features), image videos captured by the left wrist camera and the top-mounted camera (resolution: 480×640, 3-channel, H.264 encoded), as well as metadata including timestamps, frame indices, episode indices, sample indices and task indices. The data is stored in Parquet file format, with a total data file size of 100 MB and video file size of 200 MB, and is suitable for robotics learning and control tasks.

搜集汇总

数据集介绍

构建方式

SO101-Teleop-Open_drawer_60epi数据集基于LeRobot框架构建，旨在为机器人操作研究提供高质量的遥操作数据。该数据集由一台SO-Follower机器人通过人类远程操控的方式，执行打开抽屉这一具体任务，并完成了60个完整轨迹的采集。每个轨迹以30帧每秒的采样率记录，总计包含13710帧数据，涵盖了机器人6个关节（包括肩部、肘部、腕部及夹爪）的位置状态与对应动作指令。数据以Parquet格式存储于分块文件中，并辅以来自左手腕和顶部两个视角的H.264编码视频，分辨率为640×480像素，实现了丰富的多模态感知信息融合。

使用方法

使用该数据集需安装LeRobot库，通过其标准API即可便捷加载。数据集已预设划分为训练集（包含全部60个轨迹），可直接用于模仿学习或强化学习算法的训练。在模型训练时，可将6维动作向量作为目标输出，将机器人的状态及双视角图像作为输入，构建端到端的视觉运动策略。研究者也可依据其清晰的Parquet分块与视频文件结构，灵活进行自定义采样、数据增强或序列建模。通过Hugging Face Spaces提供的可视化工具，用户能直观浏览每条演示轨迹的视觉画面与关节运动，从而快速评估数据质量并开展研究。

背景与挑战

背景概述

随着机器人学习与模仿学习技术的飞速发展，高质量遥操作数据集成为推动技能迁移与泛化能力提升的关键资源。SO101-Teleop-Open_drawer_60epi数据集由HyeonseokE等人于近期创建，基于LeRobot框架构建，专注于单任务——抽屉开启操作，包含60个示范片段，共计13,710帧视觉与运动状态数据。该数据集采用SO系列追随者机器人平台，通过主从遥操作方式采集6维关节空间动作与状态，结合左右腕部及顶部双目摄像头提供的RGB视频流（30FPS，480×640分辨率），为研究精细操作中末端执行器与环境的交互动态提供了标准化的低成本基准。其简洁统一的特征结构（动作、状态、多视角图像）降低了领域入门门槛，有助于推动开放环境下灵巧操作策略的复现与对比研究。

当前挑战

数据集面临的核心挑战之一在于所解决领域问题的复杂性：抽屉开启看似简单，却要求机器人精准理解把手的几何位姿、施加适当大小的推力与抓取力，并实时适应抽屉滑轨的摩擦差异与卡滞情况，这对模型的力觉感知与接触适应性提出了极高要求。建构过程中的挑战同样显著：虽然基于LeRobot的遥操作录制简化了数据采集流程，但仅依赖单一任务的60个演示片段，在环境光照、抽屉类型及初始位置变化时难以保证泛化能力；此外，六自由度动作空间中细微的轨迹差异与多视角图像信号的时间错配（视频帧与状态数据对齐）也可能引入噪声，为后续策略学习带来潜在偏差。

常用场景

经典使用场景

SO101-Teleop-Open_drawer_60epi数据集在机器人学习与操控领域扮演着重要角色，尤其适用于模仿学习与行为克隆的研究范式。该数据集通过遥操作采集了SO系列机器人执行‘打开抽屉’这一精细任务的60条完整轨迹，涵盖6维关节动作序列与多视角视觉观测（包括顶部与左腕相机的高清视频）。经典使用方式是将这些专家演示数据作为监督信号，训练神经网络模型以端到端的方式将视觉输入直接映射为机器人动作指令，从而让机器人习得开抽屉的灵巧操作技能。

解决学术问题

该数据集精准回应了具身智能领域一个核心学术难题：如何让机器人从有限的人类示教中高效泛化学习复杂接触式操作。开抽屉任务涉及力-位混合控制、环境约束动态建模以及视觉反馈闭环等挑战，传统基于精确动力学模型的方案在非结构化场景中鲁棒性不足。SO101-Teleop-Open_drawer_60epi提供的标准化、多模态数据流，为研究从简单示范中提取稳健操作策略、探索数据效率更高的模仿学习算法（如扩散策略、隐式行为克隆）提供了坚实的实验基准，推动了从感知到动作端到端学习范式的理论发展。

实际应用

在实际应用中，此数据集训练出的操作策略可直接部署于服务机器人或家庭辅助机器人上，使它们能自主完成开抽屉存放物品、取物等日常家务操作。对于工业场景，其背后蕴含的视觉-动作联合建模技术可迁移至自动化仓储机器人执行柜门开启、工件装夹等半结构化任务。此外，该数据集的采集与处理流程（LeRobot框架、Apache-2.0开源许可）为机器人社区提供了可复现的标准化范例，降低了非专业用户进入具身智能领域的门槛，加速了研究成果从实验室到实体产品的转化进程。

数据集最近研究

最新研究方向

该数据集聚焦于机器人遥操作开抽屉任务，代表了具身智能领域中精准操作技能学习的前沿方向。基于LeRobot框架构建的60个示范轨迹，融合了多模态视觉与关节状态信息，为模仿学习和行为克隆算法提供了高质量训练基准。当前研究热点围绕如何利用此类细粒度操作数据集，结合隐式策略或扩散模型，使机器人能够泛化至不同形状与摩擦特性的抽屉对象。该数据集的出现推动了灵巧操作与家庭服务机器人的落地，其开源本质更促进了协作式研究生态的蓬勃发展。