KS325/open-upper-drawer-r2-occ-train-spare

该数据集由LeRobot创建，用于机器人操作任务，具体任务是打开上层抽屉。数据集包含14个训练episodes，总计10199帧，帧率为30fps。数据以parquet文件格式存储，视频以mp4格式存储。数据集特征包括：6维动作空间（控制肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、6维状态观测（与动作空间相同的关节位置）、两个摄像头图像观测（camera1和camera2，分辨率均为480x640x3，视频编码为av1），以及时间戳、帧索引、episode索引、任务索引等元数据。数据集适用于机器人学习研究，特别是模仿学习或强化学习任务。This dataset was developed by LeRobot for robotic manipulation tasks, specifically the task of opening an upper drawer. It contains 14 training episodes, totaling 10199 frames with a frame rate of 30 fps. The structured data of the dataset is stored in Parquet file format, while the videos are saved in MP4 format. The dataset features include: a 6-dimensional action space that controls shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation and gripper position; a 6-dimensional state observation with joint positions consistent with those in the action space; two camera image observations (camera1 and camera2, both with a resolution of 480×640×3, and the video is encoded in AV1); as well as metadata such as timestamps, frame index, episode index, and task index. This dataset is applicable to robotic learning research, particularly for imitation learning or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，面向机器人操作任务中的抽屉开启场景。数据采集依托so_follower机器人平台，通过遥操作或预设策略生成14个训练回合，共计10199帧，采样频率为30Hz。每帧同步记录机器人本体状态与动作指令，两者均包含肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置六个维度。同时，配备两个固定视角的摄像头，以640×480分辨率、AV1编码录制视频流，最终以Parquet列式存储与MP4视频文件按分块方式组织，形成结构化的多模态机器人学习数据集。

特点

该数据集以单任务抽屉开启为核心，聚焦于真实机器人操作场景，提供本体感知与双路视觉观测的同步多模态数据。其动作空间与状态空间完全对齐，均为六自由度关节位置，便于策略学习中的状态-动作映射建模。数据集采用LeRobot v3.0规范，元信息完备，包含时间戳、帧索引、回合索引及任务索引，支持高效的时间序列分析与回合划分。视频数据采用AV1编码，在保证画质的同时降低存储开销，且所有文件路径与分块规则明确，利于大规模训练时的数据加载与并行处理。

使用方法

使用该数据集时，可借助LeRobot库提供的接口直接加载Parquet数据文件与对应视频流，通过元信息中的splits字段获取训练集划分。研究人员可利用observation.state与action字段进行模仿学习或强化学习策略训练，同时调用observation.images.camera1和camera2进行视觉编码与多模态融合。数据集支持通过Hugging Face Spaces上的可视化工具在线浏览，便于快速验证数据质量与任务语义。在实际训练中，可按照data_path与video_path模板定位各分块文件，结合fps与total_frames参数进行时序采样与批处理，从而适配不同机器人学习算法的输入需求。

背景与挑战

背景概述

伴随具身智能与机器人学习范式的迅速演进，高质量、细粒度的真实机器人操作数据日益成为制约算法泛化与技能迁移的核心瓶颈。open-upper-drawer-r2-occ-train-spare数据集依托LeRobot开源框架构建，由HuggingFace社区及相关研究人员贡献，于2025年前后发布，聚焦于单一任务——开启上层抽屉，涵盖14个回合、10199帧、30fps的同步视觉与本体状态记录。该数据集以SO-Follower机械臂为平台，提供双路RGB视频流及六自由度关节位置与动作标注，为核心研究问题——如何在接触密集型日常操作中实现视觉-运动策略学习——提供了可复用的标准化数据资源。其开源共享模式对推动机器人操作基准的透明化与可复现研究具有积极影响力。

当前挑战

该数据集所应对的领域问题属于接触丰富的精细操作范畴，要求机械臂在视觉观测下协调多关节完成抽屉开启，其核心挑战体现于三方面：其一，任务涉及非线性接触动力学与遮挡场景，策略模型需从有限回合中泛化至未见初始位形；其二，数据采集受机械臂运动学约束与传感噪声干扰，需保证动作-状态时序对齐的精确性；其三，构建过程中需兼顾多相机视角的同步、大容量视频编解码效率与存储格式的规范性，以适配LeRobot生态的消费流程。此外，单任务设定下的样本多样性不足亦为后续基准评测带来潜在偏差风险。

常用场景

经典使用场景

在具身智能与机器人操作学习领域，open-upper-drawer-r2-occ-train-spare数据集以SO-Follower机械臂为核心载体，提供了高频率、多视角的示教式操作轨迹，其最为经典的使用场景在于训练基于视觉-动作映射的模仿学习策略，使机械臂能够在连续动作空间中学习开启上层抽屉这一精细操作。该数据集包含14条完整回合与逾万帧同步记录，涵盖关节位置、末端执行器状态及双路RGB视频流，为端到端的行为克隆与视觉运动策略学习提供了标准化输入。

衍生相关工作

依托LeRobot开源生态，该数据集衍生出一系列与模仿学习及视觉运动控制相关的工作，包括基于扩散策略与动作分块Transformer的操作策略训练、双摄像头视觉表征的对比学习，以及面向抽屉开启任务的强化学习微调实验。相关研究常以该数据为基准验证算法在真实机械臂平台上的适用性，并在此基础上扩展至多任务与多物体操作的数据集构建，逐步形成面向真实机器人操作的开源数据与方法迭代链条。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，基于视觉-动作联合建模的精细操作技能习得正成为前沿热点。该数据集依托LeRobot框架，聚焦SO follower机械臂完成开启上层抽屉这一典型任务，提供多视角视觉观测与六维关节动作序列，为模仿学习与视觉运动策略研究提供结构化示范。近期研究趋势倾向于利用此类高质量、小规模真实世界演示数据，探索视觉表征与动作生成的端到端映射，以及遮挡条件下的鲁棒策略泛化。该数据集所涵盖的遮挡场景与双臂协同操作特性，与当前机器人泛化性、样本效率及真实环境部署等核心议题紧密关联，对推动家庭服务机器人灵巧操作能力具有积极的实证支撑意义。