HyeonseokE/SO101-cap_open_topdrawer_10fps_60epi

该数据集是一个机器人操作任务数据集，使用LeRobot工具创建。数据集包含60个episodes，总计17468帧，采样率为10fps。机器人类型为so101_follower，数据格式为parquet，并配有相应的视频文件。数据特征包括：观测状态（6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、动作（6个关节位置）、顶部和左腕部摄像头图像观测（480x640分辨率，3通道RGB视频）、末端执行器位置（6维XYZ和RPY）、夹爪二进制状态、技能信息（自然语言描述、验证问题、类型、进度、目标关节位置、目标末端位置、目标夹爪位置）、子任务信息（自然语言描述、物体名称、目标位置）、以及时间戳、帧索引、episode索引等元数据。数据集仅包含训练集，用于机器人学习和控制任务。This dataset is a robotic manipulation task dataset created using the LeRobot tool. It contains 60 episodes, totaling 17,468 frames at a sampling rate of 10 fps. The robot type is so101_follower, with data stored in parquet format and accompanied by corresponding video files. Features include: observation state (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper), action (6 joint positions), top and left wrist camera image observations (480x640 resolution, 3-channel RGB video), end-effector position (6-dimensional XYZ and RPY), gripper binary state, skill information (natural language description, verification question, type, progress, goal joint position, goal end-effector position, goal gripper position), subtask information (natural language description, object name, target position), and metadata such as timestamp, frame index, and episode index. The dataset includes only a training split and is intended for robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计，聚焦于SO101机械臂执行‘打开顶抽屉’这一具体操作。数据集包含60个完整演示片段，共17468帧，以10帧每秒的采样频率记录。每条轨迹均包含六维关节状态（肩部偏航/俯仰、肘部弯曲、腕部弯曲/滚动、夹爪位置）及对应动作指令，并通过顶部和左腕双视角摄像头采集480×640分辨率的RGB视频流，同时附带末端执行器笛卡尔位姿、二元夹爪状态及URDF坐标系下的关节角度数据。数据以Parquet格式分块存储，视频则采用H.264编码的MP4文件组织，整体结构紧凑高效。

使用方法

用户可通过LeRobot库直接加载与可视化该数据集，利用Hugging Face提供的交互式可视化工具观察轨迹与图像。数据集默认划分为全部60个片段作为训练集。在模型训练中，可将六维动作作为输出目标，同时可组合使用双视角图像、关节状态及语言指令作为输入特征。数据以固定1000帧为分块单元，便于分批次读取与流式处理。此外，数据集遵循Apache-2.0开源协议，允许自由的学术研究与商业应用，并支持基于info.json元信息自定义数据拆分策略。

背景与挑战

背景概述

该数据集由研究者HyeonseokE等人于近期创建，依托于LeRobot开源框架，聚焦于机器人操作领域的精细技能学习。核心研究问题在于如何通过多模态感知数据驱动机械臂完成高精度开抽屉任务，这一方向对具身智能与工业自动化具有重要推动作用。数据集包含60个演示片段，以10帧/秒的频率采集共计17468帧状态-动作序列，并整合了顶部与左腕视角的640x480视觉信息、六自由度关节状态及末端执行器位姿等丰富特征，为模仿学习与行为克隆提供了标准化训练资源。其贡献在于构建了一个低延迟、高复用性的开源基准，显著降低机器人技能学习的入门门槛，推动了通才型操作智能体的发展。

当前挑战

该数据集旨在解决机器人精细操作技能泛化性不足的领域难题，尤其在非结构化环境下的开抽屉这类接触性任务中，模型需从有限演示中提取鲁棒的动作策略。构建过程中面临多模态数据精确同步的挑战，例如视频流与关节传感器的时序对齐误差可能导致策略偏差；同时，6自由度关节空间与笛卡尔空间的运动表示需兼容不同机器人的运动学差异，增加了数据标注与归一化的复杂度。此外，单一场景（60个演示）的多样性不足易引发过拟合，而10Hz的低频采样率在捕获高速动态交互时可能存在信息损失，这些均对数据增强与跨场景迁移方法提出了更高要求。

常用场景

经典使用场景

在机器人操作领域，SO101-cap_open_topdrawer_10fps_60epi数据集为模仿学习和强化学习提供了宝贵的训练资源。该数据集聚焦于‘打开顶部抽屉’这一精细操作任务，包含60个示范回合，以10帧/秒的频率采集了机械臂关节状态、末端执行器位姿、顶部与左腕相机视角的视觉信息，以及丰富的技能与子任务标注。研究者可借助这些多模态数据，训练机器人从感知到动作的端到端映射，尤其适用于行为克隆和隐式策略学习等经典范式。数据集结构清晰，特征维度统一，便于直接用于LeRobot等框架中的策略训练与评估。

解决学术问题

该数据集有效回应了机器人操作中数据稀缺与泛化性不足的学术挑战。传统开柜任务依赖手工规则或低维状态反馈，难以适应物体形状、摩擦力等环境变化。此数据集通过提供高保真的视觉与运动学联合记录，使模型能够学习鲁棒的开柜策略，从而推动研究向更复杂的接触式操作任务延伸。其精细的技能标注（如自然语言指令、验证问题、目标位置）还为任务分解与多阶段规划提供了基准，促进了对人机协作中意图理解与动作生成耦合机制的探索，对构建通用操作智能体具有示范意义。

实际应用

在实际应用层面，该数据集支撑的模型可部署于服务机器人、智能仓储及家庭辅助系统。例如，机器人可基于模仿学习获得的策略，自主完成家庭橱柜或办公抽屉的开启，为后续物品取放奠定基础。数据集中60个高质量示范囊括了不同的抽屉阻力与开合角度，增强了策略的鲁棒性。结合LeRobot生态，研究者可将训练后的策略轻量化部署至实体SO100机器人，实现数据到控制指令的无缝衔接。此外，技能层与子任务层的自然语言标注使得非专家用户可以通过口头指令引导机器人执行分步操作，极大降低了人机交互的门槛。

数据集最近研究

最新研究方向

在机器人操作领域，精细化的灵巧操作任务成为前沿研究热点，尤其聚焦于日常物品的交互式操控。SO101-cap_open_topdrawer_10fps_60epi数据集以SO101机械臂为平台，采集了60个完整演示回合，涵盖从肩部到夹爪的6自由度关节状态与动作序列，并配备多视角视觉信息（顶部与左腕相机）及自然语言技能描述。该数据集专为“打开顶部抽屉”这一典型物品操纵任务设计，结合了物体与场景语义理解，为模仿学习与强化学习提供了高质量的多模态训练基础。近期研究趋势表明，将语言指令与视觉-运动映射深度融合的方法正逐步突破传统预设轨迹的局限，推动机器人从简单抓取向复杂场景中自主推理与操作的跨越。该数据的发布与应用，标志着面向非结构化环境、支持细粒度技能量化评估的数据体系正在成熟，对促进家庭服务机器人、智能仓储等领域的实用化进程具有深远意义。