HyeonseokE/SO101-cap_open_topdrawer_10fps_20epi

该数据集是一个机器人演示数据集，使用LeRobot工具创建，专为机器人学任务设计。数据集包含20个episodes，总计5820帧，针对单一任务。机器人类型为so101_follower（一种机械臂）。数据以parquet文件格式存储，视频文件以MP4格式存储，帧率为10fps。数据集特征丰富，包括观察状态（如关节位置、末端执行器位姿、夹爪二进制状态）、动作（关节位置控制）、多视角图像观察（顶部摄像头和左腕摄像头，分辨率480x640，RGB视频）、技能和子任务的自然语言描述、验证问题、技能类型、进度、目标位置（关节空间和笛卡尔空间），以及时间戳和索引信息。这些多模态数据适用于模仿学习、强化学习或机器人操作研究，支持从状态、视觉和语言输入中学习控制策略。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集由[LeRobot](https://github.com/huggingface/lerobot)创建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/SO101-cap_open_topdrawer_10fps_20epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页:** [更多信息待补充] - **论文:** [更多信息待补充] - **许可证:** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "so101_follower", "总回合数": 20, "总帧数": 5820, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 10, "数据集划分": { "训练集": "0:20" }, "数据文件路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "观测数据.关节状态": { "数据类型": "float32", "形状": [6], "维度名称": ["肩偏转关节位置", "肩提升关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕旋转关节位置", "夹爪位置"] }, "动作指令": { "数据类型": "float32", "形状": [6], "维度名称": ["肩偏转关节位置", "肩提升关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕旋转关节位置", "夹爪位置"] }, "观测数据.顶部摄像头图像": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "h264", "视频像素格式": "yuv420p", "非深度图": false, "视频帧率": 10, "视频通道数": 3, "无音频轨道": false } }, "观测数据.左腕部摄像头图像": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "h264", "视频像素格式": "yuv420p", "非深度图": false, "视频帧率": 10, "视频通道数": 3, "无音频轨道": false } }, "观测数据.末端执行器位姿（机器人坐标系XYZ-RPY）": { "数据类型": "float32", "形状": [6], "维度名称": ["x轴坐标", "y轴坐标", "z轴坐标", "滚转角", "俯仰角", "偏航角"] }, "观测数据.夹爪二进制状态": { "数据类型": "float32", "形状": [1], "维度名称": null }, "观测数据.URDF模型0弧度制关节状态": { "数据类型": "float32", "形状": [6], "维度名称": ["肩偏转关节位置", "肩提升关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕旋转关节位置", "夹爪位置"] }, "动作指令.URDF模型0弧度制关节命令": { "数据类型": "float32", "形状": [6], "维度名称": ["肩偏转关节位置", "肩提升关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕旋转关节位置", "夹爪位置"] }, "技能.自然语言描述": { "数据类型": "字符串", "形状": [1], "维度名称": null }, "技能.验证问题": { "数据类型": "字符串", "形状": [1], "维度名称": null }, "技能.类型": { "数据类型": "字符串", "形状": [1], "维度名称": null }, "技能.进度": { "数据类型": "float32", "形状": [1], "维度名称": null }, "技能.目标关节位姿": { "数据类型": "float32", "形状": [6], "维度名称": ["肩偏转关节位置", "肩提升关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕旋转关节位置", "夹爪位置"] }, "技能.目标末端执行器位姿（机器人坐标系XYZ-RPY）": { "数据类型": "float32", "形状": [6], "维度名称": ["x轴坐标", "y轴坐标", "z轴坐标", "滚转角", "俯仰角", "偏航角"] }, "技能.目标夹爪位置": { "数据类型": "float32", "形状": [1], "维度名称": ["夹爪位置"] }, "子任务.自然语言描述": { "数据类型": "字符串", "形状": [1], "维度名称": null }, "子任务.目标物体名称": { "数据类型": "字符串", "形状": [1], "维度名称": null }, "子任务.目标位置（XYZ坐标）": { "数据类型": "float32", "形状": [3], "维度名称": ["x轴坐标", "y轴坐标", "z轴坐标"] }, "时间戳": { "数据类型": "float32", "形状": [1], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "维度名称": null } } } ## 引用信息 **BibTeX格式:** bibtex [更多信息待补充]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在记录SO101型机械臂执行“打开顶部抽屉”这一操作的演示数据。数据采集以10帧每秒的采样频率进行，共包含20个完整演示回合，总计5820帧。每个回合中，机械臂的关节状态、末端执行器位姿、夹爪状态以及来自顶部和左手腕的视角图像均被同步记录。数据以Parquet格式存储，并辅以对应的H.264编码视频文件，确保时空信息的完整性与可复现性。

使用方法

数据集设计为与LeRobot生态系统无缝集成，用户可通过HuggingFace提供的可视化界面直接预览数据内容。在技术实现上，数据以分块形式存储于Parquet文件中，视频则独立存放，便于按需加载。研究者可便捷地使用LeRobot库中的API加载‘observation.state’与‘action’字段进行模仿学习训练，也可利用‘skill.natural_language’与‘subtask.natural_language’等标注信息开展语言条件策略研究，适配从数据回放到端到端学习的多种工作流。

背景与挑战

背景概述

SO101-cap_open_topdrawer_10fps_20epi数据集由HyeonseokE团队基于LeRobot框架创建，聚焦于机器人操作领域中的抽屉开启任务。该数据集录制了20个演示回合，包含5820帧带时间戳的观察与动作序列，通过so101_follower机械臂采集，涵盖6维关节空间状态与动作标签。其核心研究问题在于为模仿学习与行为克隆提供高质量的多模态演示数据，尤其针对精细物体交互场景。该数据集的发布填补了小型化、高保真机器人操作数据集的空白，为研究机械臂在受限空间内的协调控制与泛化能力提供了标准化基准，对推动机器人学习算法的实用化进程具有重要参考价值。

当前挑战

该数据集主要应对机器人学习领域中演示数据稀缺且多样性不足的挑战，尤其聚焦于抽屉开启这类具有明确子任务结构的操作行为。在领域层面，其解决了从高维视觉-运动状态到精确关节空间映射的困难，要求模型能同时处理视觉反馈与低层控制信号。构建过程中面临的主要挑战包括：确保演示轨迹的一致性与无碰撞性，避免机械臂末端执行器与环境的意外干涉；同步多视角摄像头（顶部与左腕）的10帧每秒视频流与传感器数据；以及将自然语言指令、子目标位置等语义信息嵌入结构化特征空间，以支持多模态学习。

常用场景

经典使用场景

在机器人操作与模仿学习领域，SO101-cap_open_topdrawer_10fps_20epi数据集为研究机械臂执行精准开抽屉任务提供了宝贵的基准资源。该数据集记录了SO101型机械臂在10帧每秒采样率下，完成20轮开顶抽屉操作的全过程，包含高维度状态信息（六关节位置与夹爪状态）、多视角视觉流（顶部与左腕摄像头）以及自然语言指令等丰富模态。研究者常利用该数据集训练端到端的模仿学习模型，通过观测-动作对的映射关系，使机器人习得从视觉感知到关节控制的泛化策略，尤其适用于研究动态环境下灵巧操作行为的复现与迁移。

解决学术问题

该数据集旨在解决机器人操作中技能泛化性不足与样本效率低下的核心学术困境。传统控制方法依赖精确物理建模，难以应对抽屉厚度、摩擦力等未建模变量；而现有强化学习方法在稀疏奖励场景下探索成本过高。SO101-cap_open_topdrawer数据集通过提供二十个高质量专家轨迹，使研究者能够聚焦于模仿学习算法的表征能力与策略鲁棒性，例如验证逆动力学模型在有限数据下的拟合精度，或探索目标条件化策略（如根据‘打开顶部抽屉’指令自适应调整抓取姿态）。其意义在于推动了从单一任务示范到可复用操作原语的研究范式转变。

实际应用

在现实工业与家庭服务场景中，该数据集训练的模型可部署于流水线工件搬运、物料存取或智能家居辅助等任务。具体而言，机械臂通过学习开抽屉这一子操作，能够集成至更复杂的复合技能链（如‘取药瓶→开抽屉→放入物品→关闭抽屉’）。由于数据集包含自然语言标签（如skill.natural_language字段），开发者可构建语音驱动的交互系统，使非专业用户通过简单指令让机器人完成特定操作。此外，多视角图像与关节状态的联合建模，为机器人适应不同光照、抽屉位置及型号变化提供了泛化基础，显著降低现场编程与人工示教的成本。

数据集最近研究

最新研究方向

该数据集聚焦于机器人灵巧操作与技能学习的前沿领域，特别是针对特定任务如‘打开顶部抽屉’的精细化操控。结合LeRobot框架，数据集提供了高频率（10fps）的多模态数据，包括关节状态、末端执行器位姿及视觉图像（顶部与左腕视角），并标注了自然语言描述的技能与子任务信息，支持从观察到动作的端到端模仿学习。当前研究热点围绕利用此类细粒度数据训练通用机器人基座模型，通过分层任务规划与技能分解，推动机器人在非结构化环境中的自主操作能力，例如在家庭或工业场景中实现精准物体交互。该数据集通过公开的Apache-2.0许可和可视化工具，降低了机器人学习研究门槛，促进了可复现的基准测试与多机器人平台的迁移学习探索。