HyeonseokE/SO101-cap_close_drawer_10fps_60epi

该数据集是一个用于机器人学习的数据集，专门针对机械臂操作任务。它包含60个训练片段，总计14061帧，数据以.parquet格式存储，视频以.mp4格式存储，帧率为10fps。数据集提供了丰富的多模态特征，包括机器人关节状态观测（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、动作指令、图像观测（来自顶部和左腕摄像头的RGB视频，分辨率为480x640）、末端执行器位置（XYZ坐标和欧拉角）、夹爪二进制状态、技能信息（如自然语言描述、验证问题、类型、进度和目标位置）、子任务信息（如自然语言描述、对象名称和目标位置）以及时间戳和索引数据。这些数据适用于机器人控制、模仿学习或强化学习任务，特别是涉及抽屉关闭等操作场景。数据集基于LeRobot平台创建，采用Apache 2.0许可证。This dataset is designed for robotics learning, specifically for robotic arm manipulation tasks. It contains 60 training episodes with a total of 14,061 frames, stored in .parquet format for data and .mp4 format for videos, at a frame rate of 10fps. The dataset offers rich multimodal features, including robot joint state observations (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), action commands, image observations (RGB videos from top and left wrist cameras with 480x640 resolution), end-effector positions (XYZ coordinates and Euler angles), gripper binary states, skill information (e.g., natural language descriptions, verification questions, types, progress, and goal positions), subtask information (e.g., natural language descriptions, object names, and target positions), as well as timestamps and index data. It is suitable for robotics control, imitation learning, or reinforcement learning tasks, particularly in scenarios like drawer closing operations. The dataset was created using the LeRobot platform and is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

SO101-cap_close_drawer_10fps_60epi数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的演示数据。该数据集通过遥操作方式收集了SO101型从动机器人执行‘关闭抽屉’这一单一任务的行为序列，共计60个episode，每个episode包含约10帧每秒的观测数据。数据以Parquet格式存储于chunk分片中，同时关联了H.264编码的MP4视频文件，分别来自顶部视角和左腕视角的摄像头，分辨率均为640×480，从而为模仿学习提供了多模态的状态与动作对应关系。

特点

数据集的核心特色在于其精细化的技能与子任务层级标注。每条轨迹不仅记录了6维关节位置动作（包括肩部、肘部、腕部及夹爪）和对应的机器人末端执行器位姿（xyzrpy），还配备了自然语言描述的子任务目标及验证问题，例如文字指令、目标物体名称和三维坐标位置。此外，数据中还包含二进制夹爪状态、时间戳和帧索引等结构化元信息，使得数据集能够支持从原始观测到高层语义意图的端到端学习范式，特别适合用于行为克隆和语言条件策略的训练与评估。

使用方法

该数据集可借助LeRobot工具包进行高效加载与可视化。用户可通过HuggingFace提供的可视化界面直接浏览轨迹片段，亦可利用Python脚本读取Parquet文件中的状态-动作对，结合视频解码接口获取图像序列。数据集已预设单一训练集分割（含全部60个episode），研究者可将其作为训练数据输入到策略网络中，如扩散策略或基于Transformer的编码器-解码器架构。同时，数据集遵循Apache-2.0许可协议，便于在学术和工业场景中灵活使用与二次开发。

背景与挑战

背景概述

SO101-cap_close_drawer_10fps_60epi数据集由研究人员HyeonseokE基于LeRobot框架创建，发布于HuggingFace平台，专注于机器人操作任务的学习与仿真。该数据集围绕“关闭抽屉”这一基础操作任务，以10帧每秒的采样频率记录了60个完整演示片段，共计14061帧数据，涵盖了从关节角度、末端执行器位姿到多视角视觉图像的丰富信息。作为机器人技能学习领域的数据资源，它旨在为基于演示的模仿学习与迁移学习提供标准化训练样本，推动机器人从精细操作到语义理解的多层次能力发展。该数据集采用Apache-2.0开源协议发布，降低了研究门槛，为机器人社区在闭环控制与自适应操作任务上的探索提供了重要基准。

当前挑战

该数据集所面临的挑战首先体现在领域问题上：机器人操作任务高度依赖对动态环境与复杂物理交互的精准建模，如何从有限演示中泛化出鲁棒的控制策略，是模仿学习长期面临的瓶颈。具体到“关闭抽屉”这一细粒度动作，要求模型同步处理视觉感知、关节轨迹规划与力反馈调节，而数据集中仅包含单一任务与固定场景，易导致过拟合。在构建过程中，数据采集存在高精度硬件校准与多模态信号同步的困难，如视觉流与关节状态的时间对齐、不同视角（顶部与左腕相机）特征融合的复杂性。此外，数据规模有限（60个片段、100MB数据文件与200MB视频文件），可能不足以覆盖各种抽屉阻力与初始位姿变化，限制了数据驱动的策略在真实场景中的迁移能力。

常用场景

经典使用场景

SO101-cap_close_drawer_10fps_60epi数据集专为机器人操作技能学习而设计，其核心应用场景聚焦于机械臂执行“关闭抽屉”这一精细操作任务。该数据集以10帧每秒的采样频率，记录了60个完整演示轨迹，涵盖了从关节状态、末端执行器位姿到视觉观测（顶部与左腕摄像头）的多模态信息。研究者常利用这些标注数据训练模仿学习模型，如行为克隆（Behavior Cloning）或基于扩散策略的机器人控制算法，旨在让机器人从人类演示中习得闭合抽屉的精准动作序列。

衍生相关工作

该数据集衍生的经典工作包括：基于LeRobot框架的模仿学习基线模型（如扩散策略与ACT算法），验证了在低维状态与视觉输入条件下的操作迁移效果；结合自然语言技能标签，催生了语言条件式操作策略研究（如Instruction Following），推动多任务泛化；其结构化数据格式被后续数据集（如SO101系列）采纳，成为机器人数据集标准化范式的重要参考，间接促进了可复现研究生态的构建。

数据集最近研究

最新研究方向

在机器人操作技能学习的前沿探索中，SO101-cap_close_drawer_10fps_60epi数据集聚焦于机械臂抽屉闭合这一精细操作任务，凭借其包含多视角视觉流（顶部与左腕相机）、关节状态与末端执行器位姿等丰富模态数据，为模仿学习与基于技能的规划提供了极具价值的结构化训练语料。该数据集紧密关联具身智能领域对“可泛化操作基线”的热点追求，其经过精细标注的subtask层次与自然语言描述，使其成为验证任务分割与语言条件策略的有效基准，有望推动机器人从单一闭环控制迈向复杂序列性操作指令的语义化理解与执行。