HyeonseokE/SO101-cap_close_drawer_10fps_20epi

该数据集是一个机器人学习数据集，使用LeRobot创建，专注于机器人操作任务。数据集包含20个episodes，总计4692帧，涉及1个具体任务。数据以parquet文件格式存储，视频文件为mp4格式，帧率为10fps。特征包括观察状态（如关节位置、末端执行器位置和姿态、顶部和左腕摄像头图像、夹持器状态）、动作（关节控制命令）、技能信息（自然语言描述、验证问题、技能类型、进度和目标位置）、子任务信息（自然语言描述、对象名称和目标位置）以及时间戳和索引。机器人类型为so101_follower，适用于机器人控制和模仿学习研究。This dataset is a robotics learning dataset created using LeRobot, focusing on robot manipulation tasks. It contains 20 episodes with a total of 4692 frames and involves 1 specific task. The data is stored in parquet files, with video files in mp4 format at 10fps. Features include observation states (such as joint positions, end-effector positions and orientations, top and left wrist camera images, gripper state), actions (joint control commands), skill information (natural language descriptions, verification questions, skill types, progress, and goal positions), subtask information (natural language descriptions, object names, and target positions), as well as timestamps and indices. The robot type is so101_follower, suitable for research in robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

SO101-cap_close_drawer_10fps_20epi数据集依托LeRobot框架构筑，专为机器人操作任务设计。数据集以10帧每秒的采样率采集，共包含20个完整演示片段（episodes），累计4692帧时序数据。所有数据以Parquet格式高效存储，辅以H.264编码的视频文件，实现了状态与视觉信息的精确对齐。数据采集过程中，机器人本体so101_follower执行'关闭抽屉'这一单一任务，每次操作均记录了从初始状态到目标完成的完整状态轨迹。数据集结构清晰，通过info.json文件定义了特征空间，包括6维关节状态、6维末端执行器位姿、双目视觉观测（顶部及左手腕摄像头）、以及自然语言指令与子任务标签等多模态信息，确保了数据的高密度性与任务关联的深度。

特点

该数据集的核心特质体现在其多模态异构信息的融合与结构化组织。在状态空间层面，数据集不仅提供了原始关节角度（observation.state），还额外构建了URDF坐标系下的归一化表示（observation.state.radian_urdf0）与末端执行器笛卡尔位姿（observation.ee_pos.robot_xyzrpy），为不同控制策略的迁移学习奠定了物理基础。视觉模态包含480x640分辨率的高清视频流，顶部与左手腕两个视角为场景理解与遮挡处理提供了冗余信息。尤为珍贵的是，数据集嵌入了技能层级与子任务层级的语义标注，包括自然语言描述、验证问题、进度指标及目标位姿，使得数据集能够支持从模仿学习到分层强化学习的多层级算法验证。

使用方法

借助LeRobot工具链，用户可通过HuggingFace数据预览空间直观浏览每一帧的机器人状态与视觉数据。使用过程中，推荐加载全部20个片段作为训练集，利用Parquet文件的高效列式存储特性，按帧索引或片段索引灵活抽取时序序列。对于模仿学习场景，可直接将'action'字段作为监督信号，以'observation.state'与'observation.images'作为输入特征；对于视觉语言导航任务，则可利用'skill.natural_language'与'subtask.natural_language'标签构建指令跟随模型。数据集内置的'episode_index'与'frame_index'字段简化了时序批处理逻辑，而'skill.progress'字段可辅助设计基于进度的奖励函数。建议以10FPS的原始帧率训练模型，或通过降采样适配低延时控制策略。

背景与挑战

背景概述

SO101-cap_close_drawer_10fps_20epi数据集由研究者HyeonseokE等人基于LeRobot框架创建，专注于机械臂操作领域中的精细化任务——关闭抽屉。该数据集于近期发布，旨在为机器人模仿学习和行为克隆提供高质量的演示轨迹。其核心研究问题在于如何通过有限的20个演示片段（总计4692帧）捕获机械臂在6自由度空间中的闭合夹爪动作，并结合多模态观测（如顶部与左腕视觉、关节状态及末端执行器位姿）来训练鲁棒的控制策略。作为LeRobot社区生态的一部分，该数据集对机器人技能学习、尤其是小样本场景下的操作任务具有推动意义，为后续元学习或迁移学习研究提供了标准化的基准。

当前挑战

该数据集面对的领域挑战在于解决机器人精细操作中的长程依赖与动作泛化难题，特别是面对10fps低帧率采集时，如何从稀疏的演示中推断连续的夹爪闭合策略。构建过程中，挑战包括确保20个片段在物体位置、夹爪落点及施加力的一致性，以及应对视觉观测中光照反射、抽屉表面纹理等干扰因素。此外，多模态数据（如状态空间与图像流）的时空对齐和标注质量（如子任务语言描述与目标位置）需严格校验，以降低策略学习中的因果混淆风险；最终通过Apache-2.0许可开放，促进了领域内可复现研究的发展。

常用场景

经典使用场景

SO101-cap_close_drawer_10fps_20epi数据集作为机器人操作领域的高质量示范资源，被广泛用于模仿学习算法的训练与评估。该数据集记录了SO101型机械臂执行抽屉关闭任务的20个完整回合，包含4692帧以10帧每秒采集的状态-动作序列，以及顶部和左腕双视角的视频流。研究者通常利用其多模态特性——包括六维关节状态、末端执行器位姿、夹爪状态及自然语言描述——来构建端到端的策略网络，使其能够从视觉与状态信息中学习精细的夹具操控与关节轨迹规划。

解决学术问题

该数据集为机器人精细化操作中的‘小样本泛化’与‘复杂任务解耦’两大核心难题提供了研究基准。细粒度技能分解方面，其包含的子任务标注与自然语言技能描述使学者能够探索层次化强化学习框架，将‘关闭抽屉’这一复合动作拆解为接近、抓取、推拉等原子操作。操作鲁棒性领域，数据集中不同初始条件下的演示差异有助于研究噪声环境中的策略抗干扰能力。该数据集还推动了‘从示范到自主’的迁移学习范式发展，其开源属性显著降低了机械臂操作研究的硬件准入门槛。

衍生相关工作

该数据集催生了多项具有影响力的研究工作。一方面，研究者基于其结构化标注设计出面向机器人操作的多任务语言条件策略网络，证明了语言线索对操作精度提升的有效性。另一方面，该数据集的视频与状态时序信息被用于训练视觉-动力学联合预测模型，突破了无模型强化学习中样本效率的瓶颈。此外，其公开的夹爪二值状态与关节角数据促进了接触型任务中的力反馈仿真研究，相关衍生工作已将策略迁移至含有相似结构特征的SO200系列机械臂，验证了数据集在跨本体迁移中的基础价值。