KS325/open-lower-drawer-r2-emp-val-spare

该数据集是一个机器人控制数据集，使用LeRobot工具创建。数据集包含4个完整的情节，总计2972帧数据，涉及1个任务。数据以30帧每秒的速率采集，存储为parquet格式文件。数据集特征包括机器人的动作（如肩部、肘部、腕部和夹爪的位置）、观察状态（与动作相同的关节位置）、来自两个摄像头的图像观察（分辨率480x640，彩色视频）、时间戳、帧索引、情节索引、索引和任务索引。机器人类型为so_follower，数据文件总大小为100MB，视频文件总大小为200MB。数据集适用于机器人学习和控制任务。This dataset is a robotics control dataset created using the LeRobot tool. It contains 4 complete episodes with a total of 2972 frames, involving 1 task. Data is collected at 30 frames per second and stored in parquet format files. Dataset features include robot actions (e.g., positions of shoulder, elbow, wrist, and gripper), observation states (same joint positions as actions), image observations from two cameras (resolution 480x640, color video), timestamps, frame indices, episode indices, indices, and task indices. The robot type is so_follower, with a total data file size of 100MB and video file size of 200MB. The dataset is suitable for robotics learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，以so_follower机器人平台为物理载体，围绕单一开门抽屉任务采集4段示教轨迹，累计2972帧、30帧每秒的时序数据。每条轨迹同步记录六自由度关节位置作为动作指令与观测状态，并借助两路640×480分辨率摄像头以AV1编码捕获视觉信息，数据以Parquet列式存储分块组织，依据chunk与file索引规则落盘，形成结构化的机器人操作数据集。

特点

数据集聚焦于真实机器人操作场景，具有鲜明的多模态特征：动作与状态均以六维关节位置向量精确表征，视觉模态由双视角视频流构成，保留了丰富的空间信息。其数据规模精巧，轨迹短小但密集，帧率与视频编码参数匹配实际控制需求。元信息以JSON格式完整描述数据结构、分片策略与特征语义，便于解析与复现，整体遵循Apache-2.0许可，适合作为机器人学习算法的验证与微调资源。

使用方法

使用者可通过HuggingFace平台直接加载数据集，借助LeRobot库读取Parquet文件与配套视频，依据meta/info.json中的feature定义解析动作、状态、图像及索引字段。数据按训练集划分，可直接用于模仿学习或强化学习策略的离线训练。官方提供的可视化Space支持在线浏览轨迹与视频，有助于快速理解任务场景。研究者亦可依据分片路径自行构建数据加载器，灵活用于模型开发与评估。

背景与挑战

背景概述

在具身智能与机器人学习迅猛发展的背景下，操作技能的习得与泛化成为核心议题。open-lower-drawer-r2-emp-val-spare数据集依托LeRobot框架构建，聚焦于机器人开启下层抽屉这一典型操作任务，旨在为模仿学习与策略评估提供高保真度的示范数据。该数据集由相关研究团队基于SO跟随者机械臂采集，包含多模态观测与动作序列，虽规模精简，却为接触密集型操作任务的研究提供了可复用的基准资源，对推动家庭服务机器人精细操作能力的发展具有潜在影响力。

当前挑战

该数据集所对应的领域问题在于机器人如何在视觉与本体感知约束下完成开启抽屉这类接触丰富且具状态依赖的操作，其挑战在于精确建模接触力与运动轨迹的耦合关系，以及应对不同抽屉动力学特性的泛化能力。构建过程中面临的挑战包括示范数据采集时的操作一致性控制、多相机视角下视觉信息与动作的时空对齐，以及有限样本下策略评估的统计可靠性保障，这些因素共同制约着数据集在复杂真实场景中的适用深度。

常用场景

经典使用场景

在机器人学习领域，尤其是基于视觉的精细操作任务中，该数据集经典地用于训练和评估机械臂执行打开下层抽屉的动作。数据集包含四个演示回合，总计两千九百七十二帧，以三十帧每秒的速率记录了六自由度机械臂的关节位置、夹爪状态及双视角视觉观测。研究者通常利用模仿学习或行为克隆方法，从这些专家演示中学习从原始视觉输入到动作序列的映射，从而让机器人自主完成抽屉开启任务。

解决学术问题

该数据集直面机器人操作中视觉感知与运动控制的耦合难题，具体解决了在非结构化环境中对抽屉把手进行定位、抓取并施加适当拉力的学术问题。其提供的多模态同步数据（关节状态与双路视频）为研究视觉-运动策略的泛化性、样本效率以及鲁棒性提供了基准，有助于验证模仿学习算法在少量演示下的有效性，推动了精细操作任务中数据驱动方法的可复现研究。

衍生相关工作

基于该数据集，研究者可能衍生出若干经典工作，例如针对低数据量场景的元模仿学习算法、融合双视角视觉的时空注意力策略网络，以及结合力反馈的抽屉开启技能迁移研究。此外，该数据集的结构与LeRobot生态兼容，可催生针对机器人操作任务的标准化评估基准和开源预训练模型，促进社区在精细操作领域的协作与比较。