HyeonseokE/SO101-CloseDrawer_Ours_80epi

该数据集是一个机器人控制数据集，专注于关闭抽屉任务，使用so101_follower机器人收集。数据集包含80个episodes，总计20714帧数据，帧率为10fps。数据以parquet格式存储，视频文件为mp4格式。特征包括机器人的关节状态观测（6个浮点数）、动作（6个浮点数）、来自顶部和左腕摄像头的图像观测（分辨率480x640，3通道），以及末端执行器位置、抓取器状态、技能信息（如自然语言描述、验证问题、类型、进度、目标位置）、子任务信息（如自然语言描述、对象名称、目标位置）和元数据（如时间戳、帧索引、episode索引）。数据集用于训练和评估机器人学习模型，支持强化学习和模仿学习任务。license: Apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/SO101-CloseDrawer_Ours_80epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集描述 - **主页：** [更多信息待补充] - **论文：** [更多信息待补充] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "so101_follower", "总回合数": 80, "总帧数": 20714, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率（fps）": 10, "数据集划分": { "训练集": "0:80" }, "数据文件路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征": { "观测.关节状态": { "数据类型": "float32", "形状": [6], "字段名": ["shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos"] }, "动作": { "数据类型": "float32", "形状": [6], "字段名": ["shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos"] }, "观测.顶部图像": { "数据类型": "video", "形状": [480, 640, 3], "字段名": ["height", "width", "channels"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "h264", "视频像素格式": "yuv420p", "非深度图": false, "视频帧率": 10, "视频通道数": 3, "无音频流": false } }, "观测.左腕部图像": { "数据类型": "video", "形状": [480, 640, 3], "字段名": ["height", "width", "channels"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "h264", "视频像素格式": "yuv420p", "非深度图": false, "视频帧率": 10, "视频通道数": 3, "无音频流": false } }, "观测.末端执行器位姿（robot_xyzrpy）": { "数据类型": "float32", "形状": [6], "字段名": ["x", "y", "z", "roll", "pitch", "yaw"] }, "观测.夹爪二进制状态": { "数据类型": "float32", "形状": [1], "字段名": null }, "技能.自然语言描述": { "数据类型": "string", "形状": [1], "字段名": null }, "技能.验证问题": { "数据类型": "string", "形状": [1], "字段名": null }, "技能.类型": { "数据类型": "string", "形状": [1], "字段名": null }, "技能.进度": { "数据类型": "float32", "形状": [1], "字段名": null }, "技能.目标关节位姿": { "数据类型": "float32", "形状": [6], "字段名": ["shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos"] }, "技能.目标位姿（robot_xyzrpy）": { "数据类型": "float32", "形状": [6], "字段名": ["x", "y", "z", "roll", "pitch", "yaw"] }, "技能.目标夹爪位姿": { "数据类型": "float32", "形状": [1], "字段名": ["gripper.pos"] }, "子任务.自然语言描述": { "数据类型": "string", "形状": [1], "字段名": null }, "子任务.物体名称": { "数据类型": "string", "形状": [1], "字段名": null }, "子任务.目标位置": { "数据类型": "float32", "形状": [3], "字段名": ["x", "y", "z"] }, "时间戳": { "数据类型": "float32", "形状": [1], "字段名": null }, "帧索引": { "数据类型": "int64", "形状": [1], "字段名": null }, "回合索引": { "数据类型": "int64", "形状": [1], "字段名": null }, "全局索引": { "数据类型": "int64", "形状": [1], "字段名": null }, "任务索引": { "数据类型": "int64", "形状": [1], "字段名": null } } } ## 引用 **BibTeX：** bibtex [更多信息待补充]

搜集汇总

数据集介绍

构建方式

SO101-CloseDrawer_Ours_80epi数据集基于LeRobot框架构建，专注于机器人操作任务中的抽屉关闭场景。数据集通过SO101_Follower机器人平台采集，共包含80个演示片段（episodes），总计20,714帧时间序列数据，采样频率为每秒10帧。每个片段均记录了机器人关节状态、末端执行器位姿、夹爪开合状态以及顶部和左腕视角的高清视频流，视频分辨率为480×640像素，采用H.264编码。数据以Parquet格式存储于分块文件中，视频文件独立保存，便于高效加载与处理。所有数据均按训练集划分（0至80片段），无需额外分割，体现了数据采集与组织的高度完整性。

特点

该数据集的核心特点在于其丰富的多模态信息与结构化标注。除了基础的机器人状态（6维关节位置）与动作指令（6维控制量）外，数据集还提供了自然语言描述的任务技能（如“关闭抽屉”）、技能验证问题、技能类型与进度，以及子任务级别的语言描述与目标位置。此外，包含6维末端执行器位姿（XYZ与RPY）、夹爪二进制状态与目标位置，使得数据不仅适用于模仿学习，还能支持基于语言指令的任务分解与验证。数据集总大小约300MB（数据100MB，视频200MB），单任务聚焦于抽屉关闭，体现了高针对性与细粒度标注的优势。

使用方法

使用该数据集时，可借助LeRobot库进行加载与可视化。用户可通过Hugging Face提供的交互式工具（如可视化数据集空间）预览视频与状态序列。数据集默认以LeRobot v3.0版本格式组织，利用`data/*/*.parquet`路径读取分块数据，并自动关联对应的视频文件。推荐将数据与LeRobot的Dataloader集成，支持批量采样与时间序列增广，适用于训练基于状态或视觉的机器人控制策略。用户需注意特征字段包括`observation.state`、`action`、`observation.images.top`等，其中动作空间与观测空间维度一致，便于直接用于模仿学习算法（如行为克隆）。此外，技能与子任务字段可辅助层次化或语言引导的强化学习训练。

背景与挑战

背景概述

SO101-CloseDrawer_Ours_80epi数据集是机器人操作领域的一项关键资源，由研究者HyeonseokE于近期构建并公开，依托LeRobot框架进行数据采集与标准化。该数据集聚焦于机械臂执行“关闭抽屉”这一精细操作任务，记录了80个完整演示片段，涵盖20,714帧的高频状态与视觉信息。通过集成6维关节角度、末端执行器位姿、双目摄像头视频流及语言化技能描述，数据集为机器人模仿学习与多模态感知-控制联合建模提供了高质量的样本。其发布标志着面向日常家居操作的具身智能研究迈入数据驱动的范式，尤其对技能泛化与任务分解的探索具有奠基意义。

当前挑战

该数据集核心解决的领域问题是机械臂在非结构化环境中执行接触式操作时的动作规划与柔顺控制难题，尤其是抽屉关闭这类需要精确力位混合控制的任务，对模型从示范中提取时序依赖与接触动态提出了严苛要求。构建过程中面临诸多挑战：1）数据采集需确保末端执行器与抽屉滑轨的精确对齐，避免碰撞导致示范失效；2）多模态信息（关节状态、视觉流、语言标签）的时空同步易因传感器延迟产生错位；3）仅80个演示的有限规模限制了模型对布局、摩擦力等环境扰动的泛化能力，亟需数据增强或迁移学习策略进行补偿。

常用场景

经典使用场景

在机器人操作研究领域，SO101-CloseDrawer_Ours_80epi数据集专注于“关闭抽屉”这一精细操作任务，为学习从视觉观测到关节动作的映射提供了高保真度的示范数据。该数据集包含80个演示片段，涵盖了SO101型机器人从多个摄像头视角（如顶部和左腕）获取的视觉信息，以及六维关节状态与末端执行器位姿等本体感知数据。研究者可基于此开展模仿学习与行为克隆研究，通过示范轨迹直接训练策略网络，让机械臂学会精准地完成抽屉关闭所需的推拉动作序列。

实际应用

在实际应用维度，该数据集训练出的策略可直接部署于服务机器人与工业协作场景。例如，在智能家居中，机器人凭视觉信息即可自主关闭橱柜门或储物箱，替代传统预编程路径；在制造领域，相似架构可迁移至装配线上的产品封装与工具归位环节。数据集提供的二进制夹爪状态与实时时间戳还赋能了故障检测与自适应控制系统的构建，使机器人能够感知任务进度并动态调整动作幅度，显著提升操作成功率与安全性。

衍生相关工作

基于该数据集结构，研究者已衍生出多项关键工作。其与LeRobot框架的兼容性催生了跨本体策略迁移研究——将SO101数据集行为克隆结果直接微调至其他六轴机械臂。此外，数据集中的自然语言字段激发了基于视觉-语言模型的联合具身推理方法，诸如利用预训练大模型生成任务级规划，再结合SO101的细粒度动作标注进行低级执行调优。部分工作还探索了从80个专家示范中学习隐式技能表征，为少样本操作学习提供了新的基准测试平台。