KS325/open-upper-drawer-r1_occ_val

该数据集由LeRobot创建，属于机器人领域。数据集包含机器人执行任务时的动作数据、观测状态数据和图像数据。具体包括：6个关节（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper）的位置信息作为动作和观测状态数据；来自两个摄像头（camera1和camera2）的图像数据，分辨率为480x640，3通道，帧率为30fps。数据集共包含4个episodes，3407帧，1个任务。数据以parquet格式存储，视频以mp4格式存储。

This dataset was created using LeRobot and belongs to the robotics domain. It contains action data, observation state data, and image data of a robot performing tasks. Specifically, it includes: position information of 6 joints (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper) as action and observation state data; image data from two cameras (camera1 and camera2) with a resolution of 480x640, 3 channels, and a frame rate of 30fps. The dataset contains a total of 4 episodes, 3407 frames, and 1 task. The data is stored in parquet format, and videos are stored in mp4 format.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，来源于机器人执行“打开上层抽屉”任务的真实操作数据。数据采集采用so_follower型机器人，以30帧每秒的频率记录动作与观测信息。整个数据集包含4个完整演示轨迹，共计3407帧，所有数据被切分为1000帧大小的块，并以Parquet格式存储于data目录下，同时将来自两个摄像头的同步视频流以AV1编码压缩为MP4文件存放于videos文件夹中。

特点

数据集兼具多模态感知与精细动作表征特性。观测部分包含六维关节状态（位置）以及两个视角的高清彩色图像（480×640分辨率），动作空间同样对应六维连续控制指令。所有样本均附带统一的时间戳与帧索引，便于时序建模。尽管总轨迹数有限，但单条轨迹的帧率高达30fps，为模仿学习与行为克隆方法提供了密集的示范序列，适合于验证小样本策略迁移能力。

使用方法

用户可通过LeRobot库的API便捷加载该数据集，指定数据集标识符'KS325/open-upper-drawer-r1_occ_val'即可自动下载并解析Parquet数据与视频文件。数据集默认划分为训练集（含全部4条轨迹），支持通过chunks_size参数控制批处理粒度。典型应用方式包括提取动作-状态对用于训练策略网络，或结合双视角图像输入构建视觉-运动联合模型，适合在机器人操作技能学习场景中复现与评估。

背景与挑战

背景概述

在机器人操作领域，模仿学习通过从专家演示中提取行为策略，已成为推动自主技能获取的重要范式。open-upper-drawer-r1_occ_val数据集由KS325团队基于LeRobot框架创建，旨在构建能够执行‘打开上层抽屉’这一精细操作任务的机器人学习基准。该数据集包含4个演示片段、共计3407帧数据，记录了so_follower型机械臂在6自由度动作空间下的操作轨迹，并同时采集两个视角的视觉输入（640×480分辨率，30fps帧率），为多模态行为克隆提供了密集的时空观测。尽管当前规模尚小，但其结构化的仿人形机器人动作标注方案与Apache-2.0许可协议，为机器人日常操作任务中的策略泛化与闭环控制研究奠定了基础。

当前挑战

该数据集主要解决的领域问题在于，日常家具交互任务（如抽屉开启）中机器人需应对的准确位姿控制与遮挡环境挑战——动作序列需在狭窄空间内协调肩、肘、腕等多关节运动，同时避开视觉盲区对操作反馈的干扰。构建过程中，数据采集面临示范一致性难以保证的难题，不同操作者或同一操作者重复演示时的动作轨迹偏差会引入噪声；此外，仅依赖4个片段的小样本量严重制约策略的泛化能力，导致模型对非训练场景下的抽屉摩擦系数、把手几何形状等变化极度敏感；多相机同步录制与parquet格式的高频数据存储亦对硬件同步校准与IO效率提出了严峻考验。

常用场景

经典使用场景

在机器人操作研究领域，精准的灵巧操作一直是核心挑战。open-upper-drawer-r1_occ_val数据集聚焦于‘打开上层抽屉’这一典型精细操作任务，记录了4条完整的演示轨迹，包含3407帧高保真状态数据与双视角视频流。研究人员可以借此构建基于模仿学习的策略，利用状态-动作对训练模型从人类演示中复现操作流程；同时，双摄像头视觉输入为开发多模态融合的感知-决策系统提供了理想训练素材，使机器人能够理解抽屉把手位置、滑动轨迹等细粒度环境变化。

衍生相关工作

基于该范式已衍生出一系列具有奠基意义的研究工作，例如利用扩散策略从少量演示中生成平滑操作轨迹，其噪声逐步衰减机制与抽屉开合的精调特性高度契合。视觉-语言模型微调方案也被引入，使机器人能通过自然语言指令选择对应抽屉并自适应调整开合力度。更前沿的工作探索了跨形态知识迁移，将从特定机械臂学得的开合技能转化为通用操作基元，结合RetNet等时序模型实现至多100Hz的实时推理，满足了高速场景下的控制需求。

数据集最近研究

最新研究方向

在机器人学习与模仿学习的浪潮中，open-upper-drawer-r1_occ_val数据集聚焦于精细化的开抽屉操作任务，属于日常物体交互这一核心挑战。当前，该领域研究正从简单的抓取和放置向高精度、多模态感知的灵巧操作演进，而本数据集提供的6维机械臂关节状态与双视角视觉流（640×480@30fps）为训练具备空间推理能力的策略模型提供了基石。结合近年来具身智能与大规模模仿学习的热点，该数据集的价值在于推动机器人对未见环境与刚性物体（如抽屉）的泛化操作能力，为家庭服务机器人由实验室走向真实场景提供了关键的验证基准。