HyeonseokE/SO101-CloseDrawer_Ours_20epi

该数据集是通过LeRobot平台创建的机器人学数据集，专注于关闭抽屉任务。数据集包含20个训练片段，总计5320帧数据，帧率为10fps。数据以Parquet格式存储，并包含视频文件。特征包括机器人关节状态（6维浮点数）、动作（6维浮点数）、顶部和左腕摄像头图像（480x640 RGB视频）、末端执行器位置（6维浮点数）、夹爪二进制状态、技能自然语言描述、验证问题、技能类型、进度、目标位置（关节和笛卡尔坐标）、子任务自然语言描述、对象名称、目标位置（3维浮点数）、时间戳、帧索引、片段索引、索引和任务索引。数据集适用于机器人控制、模仿学习或强化学习任务。This dataset is a robotics dataset created using the LeRobot platform, focusing on the task of closing a drawer. It includes 20 training episodes with a total of 5320 frames at a frame rate of 10fps. The data is stored in Parquet format and includes video files. Features encompass robot joint states (6-dimensional floats), actions (6-dimensional floats), images from top and left wrist cameras (480x640 RGB video), end-effector positions (6-dimensional floats), gripper binary state, natural language descriptions of skills, verification questions, skill types, progress, goal positions (joint and Cartesian coordinates), natural language descriptions of subtasks, object names, target positions (3-dimensional floats), timestamps, frame indices, episode indices, indices, and task indices. The dataset is suitable for robotics control, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-CloseDrawer_Ours_20epi数据集基于LeRobot框架构建，聚焦于机器人抽屉关闭操作的模仿学习。数据采集使用SO101型号跟随机器人（so101_follower），通过遥操作或预设程序记录20个完整轨迹片段，每个片段包含约266帧，总帧数达5320帧。数据以Parquet格式存储于分块文件中，视频流则采用H.264编码的MP4格式保存，分为顶部视角和左腕部视角的双目视觉记录。数据集仅包含单一任务，所有样本均划入训练集，未设置验证或测试分区，便于直接用于端到端策略学习。

特点

该数据集最显著的特点在于其多维度的观测与动作空间。观测空间涵盖6维关节状态（shoulder_pan、shoulder_lift等）、末端执行器6维位姿（xyzrpy）以及夹爪二进制状态；同时配备480×640分辨率、10帧/秒的双目视频流。动作空间同样定义为6维关节位置指令，与观测低维数据形成闭环。此外，数据集创新性地引入了自然语言技能描述、验证问题、子任务目标位置等元数据，支持跨模态对齐和任务分解研究，但所有20个片段均对应同一任务。

使用方法

使用该数据集时，推荐基于LeRobot库的Dataset类加载Parquet分块文件与对应视频。研究者可抽取低维状态序列和视频帧作为观测输入，以6维关节动作为目标进行模仿学习建模。由于数据量约100MB（视频另占200MB），适合在单GPU环境下快速迭代。需注意所有数据已按索引对齐，可通过frame_index和episode_index实现时序采样。建议结合skill.natural_language字段构建条件策略，或利用subtask.target_position验证空间泛化能力。

背景与挑战

背景概述

SO101-CloseDrawer_Ours_20epi数据集由HyeonseokE团队基于LeRobot开源框架创建，专用于机器人操作技能的学习与模仿。该数据集聚焦于“关闭抽屉”这一精细操作任务，通过SO101型机器人采集了20个操作片段，总计5320帧，包含高维状态空间（6自由度关节位置与末端执行器位姿）及多视角视觉数据（顶部与左腕相机）。其核心研究问题在于如何利用有限的演示数据，高效训练机器人完成结构化环境中的闭合任务，为具身智能体在家庭、工业等场景下的操作泛化提供基准。数据集采用Apache-2.0许可，推动了机器人学习社区内可复现研究的进展。

当前挑战

该数据集所解决的领域问题在于机器人精细操作中的模仿学习泛化性挑战，尤其是从少量演示中提取闭合动作的通用策略，避免过拟合于特定轨迹。构建过程中，挑战包括如何协调多模态传感器（6维关节状态、末端位姿与RGB视频）的时空对齐，以及在高精度操作中保证动作序列与视觉反馈的因果一致性。此外，20个片段的数据量有限，需应对闭环控制中不确定性建模与状态估计误差，同时确保数据采集的高成本和标注语言的准确性，这对后续的跨任务迁移学习构成考验。

常用场景

经典使用场景

SO101-CloseDrawer_Ours_20epi数据集聚焦于机器人操作中的闭合抽屉这一精细任务，是模仿学习与行为克隆领域的重要数据资源。该数据集详细记录了SO101机械臂从初始状态到成功闭合抽屉的完整运动轨迹，包含肩部、肘部、腕部及夹爪的六维关节状态与对应动作指令，同时提供顶部与左腕相机的视觉观测数据。这些多模态信息为训练端到端的机器人操作策略奠定了坚实基础，尤其适用于基于视觉的运动规划与操作技能迁移研究，是验证模仿学习算法在真实场景中泛化能力的理想基准。

实际应用

在实际应用中，该数据集可直接服务于家用服务机器人、工业生产流水线及医疗辅助设备的自动化操作开发。其涉及的闭合抽屉任务属于典型的日常家居操作，训练出的策略可无缝迁移至智能家居系统中的柜门管理、储物盒整理等场景。数据集提供的自然语言描述与验证问题字段，使得非专业用户可通过指令交互快速调整机器人行为，降低了部署门槛。此外，视频与状态序列的联合建模有助于提升机器人在动态环境中对物体状态变化的实时感知与自适应能力，推动人机协作的智能化进程。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，如结合Transformer架构的模仿学习模型，利用其多模态特征解耦能力实现操作技能的高效编码与长序列预测。基于该数据集的视觉-动作对齐研究，催生了对比学习框架在机器人策略泛化中的新应用，显著改善了跨场景迁移效率。此外，研究者通过在其基础上引入对抗训练与域随机化技术，成功将闭合抽屉策略推广至异构机械臂平台，验证了数据驱动的操作学习在鲁棒性与可转移性方面的突破，为构建通用机器人基础模型提供了坚实的数据支撑。