HyeonseokE/SO101-OpenDrawer_Ours_60epi

该数据集是一个机器人学习数据集，使用LeRobot工具创建，专门用于机器人任务。数据集包含60个episodes，总计16785帧，涉及1个任务。机器人类型为so101_follower。数据集结构丰富，包括观察状态（如关节位置）、动作（如关节控制）、多视角图像（顶部和左腕摄像头）、末端执行器位置、技能信息（如自然语言描述、验证问题、类型、进度、目标位置）、子任务信息（如自然语言描述、对象名称、目标位置）以及时间戳和索引。数据以parquet格式存储，视频以MP4格式存储，帧率为10fps。数据集主要用于机器人控制、技能学习和任务执行的研究。This is a robotic learning dataset created using the LeRobot toolkit, specifically tailored for robotic tasks. It contains 60 episodes with a total of 16785 frames, covering 1 single task, and the robot type is so101_follower. The dataset has a rich structured format, including observation states (e.g., joint positions), actions (e.g., joint control commands), multi-view images captured by the top and left-wrist cameras, end-effector positions, skill-related information (e.g., natural language descriptions, validation questions, type, progress, target positions), subtask-related information (e.g., natural language descriptions, object names, target positions), as well as timestamps and indices. The dataset is stored in Parquet format, while the corresponding videos are stored in MP4 format with a frame rate of 10 fps. This dataset is primarily intended for research in robotic control, skill learning and task execution.

搜集汇总

数据集介绍

构建方式

SO101-OpenDrawer_Ours_60epi数据集是基于LeRobot框架构建的机器人操作数据集，专注于“打开抽屉”这一单一任务。通过SO101跟随机器人进行真实环境下的数据采集，共记录了60个完整演示回合，总计16785帧时序数据。数据以Apache-2.0许可发布，采用Parquet格式存储结构化信息，并辅以H.264编码的MP4视频文件，包含顶部与左腕双视角的视觉观测。每个演示回合均按帧索引与回合索引组织，确保时序完整性，同时将数据划分为训练集，便于直接用于模仿学习。

特点

该数据集的核心特点在于其多维度的感知与动作标注体系。观测空间涵盖6维关节状态（肩部、肘部、腕部及夹爪位置）、6维末端执行器位姿（XYZ位置与欧拉角）以及夹爪二进制状态，动作空间同样映射至6维关节指令，形成闭环控制参照。尤为突出的是，数据集嵌入了丰富的语义层级：包含自然语言描述的任务技能、验证问题、技能类型与进度，以及子任务级的目标位置和物体名称，这为学习从语言到动作的映射提供了结构化支撑。此外，所有时序数据均以10fps的固定频率采样，确保了时间分辨率的一致性。

使用方法

利用HuggingFace的LeRobot库可高效加载该数据集。用户通过`lerobot.Dataset`接口指定路径`HyeonseokE/SO101-OpenDrawer_Ours_60epi`即可获取数据对象，支持直接访问`observation.state`、`action`等多维数组，以及`observation.images.top`等视频流。数据集预设了单任务（task_index=0）和统一的训练分割，适用于基于行为克隆或隐式规划的模仿学习算法。结合HuggingFace Spaces的在线可视化工具，研究人员可快速浏览演示视频与动作序列，验证数据质量。建议在训练循环中按`episode_index`划分回合，利用`frame_index`对齐时间步，充分挖掘多模态与语义标注的联合表示能力。

背景与挑战

背景概述

SO101-OpenDrawer_Ours_60epi数据集由HyeonseokE团队构建，依托于LeRobot框架，专注于机器人操作中的抽屉开启任务。该数据集创建于近年，旨在推动具身智能领域中精细操作技能的学习与泛化。核心研究问题在于如何通过少量示范（60个episode）实现机器人对常见家用抽屉的可靠开启，从而验证数据驱动方法在结构化重复任务中的有效性。数据集包含了SO101机械臂在单一任务上的完整轨迹，融合了关节状态、末端执行器位姿、视觉图像（顶部及左腕摄像头）以及自然语言指令等多模态信息，为技能学习提供了丰富的观测基础。其开源协议（Apache-2.0）促进了机器人学习社区的复现与扩展，对推动低成本、可复现的机器人操作研究具有示范意义。

当前挑战

在领域问题层面，该数据集致力于解决机器人精细操作中“少样本高效学习”的核心挑战——传统方法依赖大量标注数据，而实际部署中示范获取成本高昂。构建过程中面临两大挑战：其一，数据采集的物理一致性，需要确保60个episode中抽屉状态、光照条件与机械臂初始位姿的微妙差异被合理覆盖，同时避免硬件磨损带来的轨迹漂移；其二，多模态数据的同步与对齐，特别是10fps下视频流与关节状态的时间戳匹配，以及自然语言指令与具体操作步骤的语义关联，这对数据清洗与结构化提出了严苛要求。此外，单一任务（仅抽屉开启）的数据规模限制了跨场景泛化能力，如何从有限示范中提取可迁移的技能表示仍是待突破的瓶颈。

常用场景

经典使用场景

SO101-OpenDrawer_Ours_60epi数据集专为机器人操作任务中的柜门开启行为而设计，其核心在于通过60个演示回合的高质量状态-动作序列，为模仿学习与强化学习提供密集的拓扑映射。该集合包含了从6自由度关节状态、末端执行器位姿到640×480分辨率顶视及左腕视角视频流的多模态观测数据，并辅以自然语言指令与子目标位置注释。在经典的研究范式中，它常被用于训练端到端的操作策略，即直接从像素级的视觉输入和本体感受状态预测连续的关节动作指令，从而验证机器人能否通过少量示范泛化至相似场景的抽屉开启操作。

衍生相关工作

以此数据集为蓝本，学界已衍生出多项标志性工作。一方面，它被用作行为克隆与隐式Q学习等离线模仿学习算法的典型评估平台，推动了机器人策略在重尾分布和多峰动作分布下的稳健性改进。另一方面，结合其自然语言形式化描述，研究者发展了多级奖励塑形与多模态特征对齐技术，催生了融合视觉语言模型的开放词汇操作框架。此外，有工作基于其发布的元信息结构，提出了面向LeRobot协议的高效数据增强与回放缓冲管理策略，从而提升了策略训练中的样本效率与历史帧利用效率。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域中的抽屉开启任务，通过SO101仿人形机器人采集60个演示片段，结合视觉与关节状态信息，为模仿学习与行为克隆算法提供细粒度训练样本。当前前沿方向将此类精细操作数据与大规模预训练策略探索相结合，借助LeRobot框架推动机器人在非结构化环境中的泛化能力突破，尤其在家庭服务与工业协作场景中，通过多模态感知与技能解耦建模，为实体机器人掌握复杂长程任务奠定关键数据基础。