HyeonseokE/SO101-cap_open_topdrawer_10fps_80epi

该数据集使用LeRobot创建，专注于机器人领域，具体为so101_follower机器人。数据集包含80个episodes，总计23281帧，帧率为10fps，涉及1个任务。数据以parquet文件格式存储，包括训练分割。特征丰富，涵盖观测状态（如关节位置）、动作、观测图像（顶部和左腕部视频，分辨率为480x640）、末端执行器位置、技能信息（如自然语言描述、验证问题、类型、进度和目标位置）以及子任务信息（如对象名称和目标位置）。此外，还包括时间戳、帧索引、episode索引等元数据。数据集大小为100MB（数据文件）和200MB（视频文件），适用于机器人控制和学习任务。This dataset was created using LeRobot and focuses on robotics, specifically for the so101_follower robot. It contains 80 episodes, totaling 23281 frames at a frame rate of 10fps, and involves 1 task. The data is stored in parquet format with a training split. Features include observation states (e.g., joint positions), actions, observation images (top and left wrist videos with 480x640 resolution), end-effector positions, skill information (e.g., natural language descriptions, verification questions, types, progress, and goal positions), and subtask information (e.g., object names and target positions). Additionally, metadata such as timestamps, frame indices, and episode indices are included. The dataset size is 100MB for data files and 200MB for video files, suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-cap_open_topdrawer_10fps_80epi数据集基于LeRobot框架构建，专注于机器人操作任务的模仿学习。数据集通过操控so101_follower型机器人执行“打开顶部抽屉”这一单一任务，以10帧每秒的采样频率，采集了总计80个演示回合，包含23,281帧数据。所有观测与动作数据以Parquet格式存储于分块文件中，同时配备顶视与左腕双视角的H.264编码视频，确保了视觉与状态信息的同步记录。

使用方法

使用者可直接通过LeRobot库加载该数据集，利用其预定义的80个训练回合进行模仿学习或离线强化学习。视觉-运动数据对以10FPS对齐，便于提取序列化策略。数据集提供的技能与子任务标签支持分层任务分解，可结合自然语言指令来训练多模态策略模型。此外，顶视与腕部视频的同步输出，为视觉伺服及视触觉融合算法的开发提供了理想的数据基础。

背景与挑战

背景概述

SO101-cap_open_topdrawer_10fps_80epi数据集由研究团队基于LeRobot框架构建，发布于HuggingFace平台，专注于机器人操作领域的精细技能学习。该数据集以SO101型机械臂为执行主体，记录了80个回合的橱柜顶抽屉开启任务，总帧数达23281帧，采样频率为10帧/秒。核心研究问题在于通过多模态观测数据（包括顶部与左手腕摄像头视频、关节状态、末端执行器位姿及夹爪状态）与动作序列的配对，为模仿学习和强化学习提供高质量的演示数据。该数据集在机器人技能迁移与多任务泛化领域具有潜在影响力，尤其为复杂操作任务的复现与基准测试提供了标准化数据支撑。

当前挑战

该数据集所解决的领域挑战集中于机器人精细操作中的抽屉开启任务，该任务要求机械臂协同完成关节轨迹规划、夹爪控制与视觉反馈的实时融合，对运动精度与环境适应性构成考验。构建过程中面临的挑战包括：多摄像头视野下空间位姿的精确标定与同步采集问题，确保视觉与运动状态的时间对齐；80个回合演示数据的规模化采集需兼顾动作多样性与任务目标的保真度，避免重复或无效轨迹；此外，数据存储采用分块parquet与H.264视频压缩格式，需平衡视频质量与存储效率，同时保持数据结构的完整性以支撑后续算法训练。

常用场景

经典使用场景

在机器人操作领域，SO101-cap_open_topdrawer_10fps_80epi数据集专为学习开抽屉这类精细操作任务而设计。该数据集采集了SO101型机械臂在10帧每秒采样率下的80个完整操作片段，包含来自顶部和左腕相机的视觉流、六维关节状态与末端执行器位姿，以及对应的动作序列。每段轨迹均附有以自然语言描述的子任务目标、验证问题与技能进度信息，为模仿学习、行为克隆和视觉运动策略提供了结构化的训练素材，尤其适用于研究从演示中泛化复杂接触式操作的算法。

解决学术问题

该数据集直面机器人学习中演示质量与任务多样性不足的挑战，为开抽屉这一经典接触密集任务提供了标准化基准。它解决了从高维视觉和本体感觉输入中提取可迁移策略的难题，使研究者能够系统性地评估模型在处理非刚体交互、部件滑移与力位混合控制时的表现。通过提供多视角视频与精确运动记录的同步数据，该数据集推动了端到端学习方法在精细装配场景中的发展，深化了对于如何利用有限演示实现跨实例泛化的理解。

实际应用

在实际应用中，该数据集训练的策略可直接部署于服务型或家庭辅助机器人，完成橱柜、冰箱等储物装置的自动开启操作。结合自然语言指令与验证问题，这些技能能够被整合进人机协作系统，允许用户通过口语化命令控制机械臂执行特定位置的抽屉拉取。此外，数据集中的进度标注有助于开发可中断或可复用的操作原语，提升机器人在非结构化环境中完成多步骤任务时的鲁棒性与安全性。

数据集最近研究

最新研究方向

本数据集聚焦于机器人操作技能学习领域中的精细任务执行与模仿学习前沿。该数据集以SO101型机械臂为平台，记录了80个回合的“打开顶部抽屉”任务演示，融合了视觉（顶部与左腕相机）、关节状态及末端执行器位姿等多模态数据，支持10fps的高频交互采集。当前研究热点在于利用此类高质量演示数据，结合LeRobot框架下的视觉-运动策略联合训练，推动机器人从语言指令到复杂操作（如开抽屉）的端到端泛化能力。数据集包含丰富的子任务与语言标注，为探索机器人多阶段技能因果推理和跨任务迁移提供了关键基准，其开源设计与标准化结构显著加速了通用操作智能体的研究进程。