HyeonseokE/SO101-cap_close_drawer_10fps_40epi

该数据集使用LeRobot创建，是一个机器人学数据集，专注于机器人操作任务。数据集包含40个episodes，总计9386帧，以10fps采集。数据格式为parquet，视频格式为mp4。机器人类型为so101_follower。特征包括：机器人状态（6个关节位置）、动作（6个关节位置）、图像观察（顶部和左腕摄像头，分辨率480x640）、末端执行器位姿（6维坐标和姿态）、二值化夹爪状态、技能信息（自然语言描述、验证问题、类型、进度、目标关节位置、目标末端位姿、目标夹爪位置）、子任务信息（自然语言描述、对象名称、目标位置）、时间戳、帧索引、episode索引等。数据集用于训练和评估机器人控制模型，支持多模态学习。This dataset was created using LeRobot and belongs to the robotics domain, focusing on robot manipulation tasks. It contains 40 episodes with a total of 9386 frames, collected at 10fps. The data is stored in parquet format, and videos are in mp4 format. The robot type is so101_follower. Features include: robot state (6 joint positions), action (6 joint positions), image observations (top and left wrist cameras, resolution 480x640), end-effector pose (6D coordinates and orientation), binary gripper state, skill information (natural language description, verification question, type, progress, goal joint positions, goal end-effector pose, goal gripper position), subtask information (natural language description, object name, target position), timestamp, frame index, episode index, etc. The dataset is designed for training and evaluating robot control models, supporting multimodal learning.

搜集汇总

数据集介绍

构建方式

在机器人学习与模仿学习领域，高质量的数据集是驱动策略模型性能提升的关键基石。SO101-cap_close_drawer_10fps_40epi数据集依托于LeRobot开源框架构建，专注于单一精细操作任务——盖子关闭抽屉。整个数据集通过SO101型从动机械臂进行遥操作采集，共收录40个完整演示回合（episode），总计包含9386帧时序数据。数据采集频率设定为每秒10帧，确保在捕捉运动细节的同时维持合理的存储效率。原始数据以Parquet格式存储于分块文件中，同时采用H.264编码的视频流记录来自顶部与左手腕两个视角的高清图像（480×640分辨率），实现了状态信息与视觉信息的同步对齐。

使用方法

使用该数据集进行机器人技能学习时，推荐通过LeRobot库的标准化接口进行加载与预处理。用户可直接调用LeRobot的dataset模块读取存储于'data/chunk-xxx/file-xxx.parquet'路径下的状态-动作对，同时通过'videos'目录获取同步的视觉观测流。由于特征空间中明确区分了'observation.state'、'action'与多模态'observation.images'，研究者可便捷地提取控制信号与图像输入，以训练诸如扩散策略（Diffusion Policy）或基于Transformer的行为克隆模型。HuggingFace平台还提供了交互式可视化工具，支持直接在浏览器中预览回合回放，降低数据探索门槛。

背景与挑战

背景概述

在机器人学习领域，精细操作技能的数据驱动训练正逐步成为研究热点，其中抽屉开合类任务作为日常生活中的典型操作场景，对提升机械臂的交互能力具有里程碑意义。该数据集由研究人员HyeonseokE于近年创建，依托LeRobot开源框架构建，专注于SO101型机械臂的盖帽闭合与抽屉关闭操作，以每秒10帧的频率采集了40个完整回合的操作数据，共计9386帧。通过记录包括六维关节状态、末端执行器位姿、双目视觉图像及自然语言技能标注在内的多模态信息，该数据集为研究从感知到动作的闭环控制提供了结构化基础。其影响力体现在为模仿学习与技能泛化研究提供了高质量基准，尤其推动了少样本操作策略在真实机器人平台上的部署验证。

当前挑战

该数据集所解决的领域核心挑战在于实现精密装配与闭合操作中连续动作的精准复现，这类任务因涉及末端夹爪的微小姿态调整与接触力控，传统规划方法难以建模。构建过程中，研究者需克服多传感器时序对齐的难题，尤其要确保640×480分辨率的双目视频流与六自由度关节状态数据在10Hz采样率下的精确同步。此外，40回合的有限数据量对策略泛化性提出了严苛要求，如何从单一任务场景中提取可迁移的内在运动特征，避免过拟合于固定初始条件，成为验证该数据集实用价值的关键障碍。最后，技能层次化分解（如将“关闭抽屉”拆解为子目标位置与验证问题）的标注一致性，也考验着数据收集的语义准确性。

常用场景

经典使用场景

SO101-cap_close_drawer_10fps_40epi数据集专为机器人操作技能学习而构建，聚焦于机械臂执行盖抽屉这一精细闭合动作。该数据集以10帧每秒的频率采集了40个演示回合，包含高分辨率视觉观测（俯视与左手腕视角）以及六维关节状态和末端执行器位姿数据。其经典使用场景集中于模仿学习，尤其适用于行为克隆（Behavior Cloning）和逆强化学习方法，通过观测状态与动作的映射关系，训练机器人复现人类演示的闭合抽屉策略。数据集的结构化特征——包括关节位置、末端执行器坐标、夹爪状态及自然语言任务描述——为多模态融合的机器人学习提供了标准化基准。

解决学术问题

该数据集实质性地推动了机器人操作中细粒度动作模仿与泛化的学术研究。它解决了两个关键问题：一是高精度闭环控制中的视觉与运动对齐难题，通过多视角图像和状态同步记录，为研究视觉-运动耦合提供了数据支撑；二是小样本场景下的策略学习，40个演示回合的控制量（9386帧）足以评估算法对稀有操作的泛化能力。数据集的意义在于，它允许研究者量化分析遮掩状态（如抽屉闭合过程的视觉遮挡）对策略鲁棒性的影响，并对比不同表示学习范式（如端到端与分层架构）在固定设备约束下的性能差异，从而启发了关于动作分割与错误修正机制的深入探索。

实际应用

在实际应用中，该数据集直接服务于家庭服务与工业装配机器人的技能部署。盖抽屉操作是家居环境中的高频任务，涉及物体交互与精确归位，数据集训练的策略可迁移至不同材质抽屉的闭合场景，例如厨房储物柜或办公桌抽屉。此外，其多模态特征（包括自然语言指令）可被用于开发人机协作系统，使非专家用户能以语音或文本下达‘关闭抽屉’命令后，机器人自主规划轨迹并补偿环境干扰。工业场景中，该数据所蕴含的末端执行器位姿控制逻辑也适用于质量检测环节的标准化闭合动作，降低精密装配的误差率。

数据集最近研究

最新研究方向

在机器人操作领域，精细化技能学习与模仿学习正成为前沿焦点，SO101-cap_close_drawer_10fps_40epi数据集聚焦于机械臂的‘关闭抽屉’这一高精度操作任务，与具身智能中动作序列建模的热点紧密相连。该数据集通过SO101机器人采集了40个演示回合，以10Hz频率记录关节状态、视觉图像（顶部与左腕视角）及末端执行器位姿等多模态信息，并嵌入自然语言描述与子任务目标，为研究语言引导下的机器人策略泛化、技能分解与进度验证提供了宝贵资源。借助Apache-2.0许可的开源属性及LeRobot生态支持，这一数据集有力推动了基于示范的机器人学习方法在封闭式操作场景中的可复现性，对实现更灵活、语义化的工业或服务机器人交互具有深远意义。