KS325/open-lower-drawer-r2-emp-test

该数据集使用LeRobot创建，专注于机器人学领域。数据集包含2个episodes和1500帧，涉及1个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集特征包括动作（6个浮点数，表示肩部、肘部、腕部和抓取器的位置）、观察状态（与动作相同的6个浮点数）、两个摄像头图像（分辨率480x640，3通道，视频编码为av1）、时间戳、帧索引、episode索引、索引和任务索引。机器人类型为so_follower，数据集结构支持训练分割。This dataset was created using LeRobot and belongs to the robotics domain. It contains 2 episodes and 1500 frames, involving 1 task. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB, at a frame rate of 30fps. The dataset features include actions (6 float values representing positions of shoulder, elbow, wrist, and gripper), observation states (same 6 float values), images from two cameras (resolution 480x640, 3 channels, video codec av1), timestamps, frame indices, episode indices, indices, and task indices. The robot type is so_follower, and the dataset structure supports a training split.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，以so_follower机械臂为采集平台，针对低位抽屉开启任务实施遥操作演示。数据采集遵循标准化流程，每帧同步记录6自由度关节位置与双路视觉观测，涵盖肩部旋转、升降、肘部弯曲、腕部翻转及夹爪开合等动作维度。完整数据集包含2个回合共1500帧，采获频率为30帧/秒，并以Apache-2.0协议开源，原始数据以Parquet列式存储与AV1编码视频文件分别保存，便于高效读取与视觉回溯。

特点

该数据集聚焦于机器人低位抽屉开启这一典型操作任务，以多模态时序数据为核心特征。其动作空间与状态空间均为6维连续量，精确刻画机械臂构型变化；视觉模态由两路480×640分辨率摄像头同步采集，为策略学习提供丰富空间感知信息。数据以30Hz高频采样，确保动作序列的时序连贯性；总帧数1500帧涵盖2个完整演示回合，虽规模精简，但帧级标注时间戳、帧序号与回合索引，为模仿学习与序列建模提供细粒度监督信号。

使用方法

使用该数据集时，可借助LeRobot工具链直接加载Parquet数据文件与对应视频流，解析meta/info.json获取特征布局与数据路径模板。研究者既可利用动作与状态序列训练行为克隆或强化学习策略，亦可通过Hugging Face Spaces提供的可视化界面在线审视任务执行过程。数据按训练集划分，仅含2个回合，适用于快速验证算法原型或进行少样本学习实验，使用时需注意其低数据量特性，避免过拟合。

背景与挑战

背景概述

在具身智能与机器人操作学习领域，高质量真实世界操作数据集的构建对于策略泛化至关重要。open-lower-drawer-r2-emp-test数据集依托LeRobot框架于2024年创建，由Hugging Face社区研究人员KS325贡献。该数据集聚焦于机器人开门/抽屉等日常操作任务，以SO follower机械臂为平台，通过双视角视觉与六维关节状态记录真实操作轨迹，包含2个回合共1500帧、30fps的精细数据。其核心研究问题在于如何利用少量真实演示实现高效模仿学习与策略评估，为机器人操作学习提供了可复用的基准数据资源，推动了开源机器人学习生态的发展。

当前挑战

该数据集所解决的领域问题聚焦于真实机器人操作中的精细动作控制与视觉-运动协调，要求机器人在动态环境中准确完成开门/抽屉任务。其面临的主要挑战包括：从有限演示中学习泛化策略，避免过拟合；处理视觉观测中光照、遮挡与视角变化带来的干扰；精确协调六自由度关节运动与夹爪操作，确保任务成功。构建过程中，数据采集需保证动作序列连贯性与时间同步精度，视频编码与状态记录需严格对齐，同时遵循LeRobot规范确保数据格式兼容性，为后续策略训练与评估提供可靠基础。

常用场景

经典使用场景

在机器人学习领域，利用示范数据驱动策略习得是核心范式，该数据集恰为这一范式的典型载体。其经典使用场景聚焦于基于视觉-动作联合表征的模仿学习：研究者将两个演示回合中同步采集的双视角视觉流与六维关节位置及夹爪状态输入策略网络，并回归对应的动作序列，从而训练机器人完成打开下层抽屉这一精细操作。由于任务涉及接触丰富的交互与多阶段运动规划，该数据集常用于评估模仿学习算法在真实机器人平台上的样本效率与泛化能力。

实际应用

在实际应用层面，该数据集支撑着家庭服务与仓储物流场景中底层抽屉操作技能的开发。基于其训练的策略可直接部署于配备SO follower机械臂的移动操作平台，执行打开储物柜、取出物品等任务，缓解人工操作负担。同时，该数据集为工业质检、实验室自动化等需要精确抽屉开合的场景提供了可复用的学习范式，加速了机器人技能从实验室向真实环境的落地进程。

衍生相关工作

围绕该数据集已衍生出一系列经典工作，涵盖基于LeRobot框架的策略训练流水线、视觉-语言-动作模型在底层操作任务中的微调实践，以及面向接触丰富任务的扩散策略与动作分块Transformer的对比研究。这些工作借助该数据集验证了多视角融合、时序建模与开环执行策略的有效性，并为后续公开基准的构建提供了任务设计与数据采集的参考模板。