KS325/open-upper-drawer-r2-occ-test-spare

该数据集是一个机器人学习数据集，使用LeRobot框架创建，专注于机器人任务（具体为so_follower类型机器人）。数据集包含2个episodes、1500帧数据，涉及1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。特征包括动作（6个浮点值，对应机器人关节位置如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置）、观测状态（与动作相同的6个关节位置）、两个摄像头图像（camera1和camera2，均为480x640分辨率、3通道的RGB视频），以及时间戳、帧索引、episode索引等元数据。数据集主要用于训练或评估机器人控制算法，支持视觉和状态观测。This dataset is a robotics learning dataset created using the LeRobot framework, focusing on robot tasks (specifically for so_follower type robot). It contains 2 episodes, 1500 frames, and involves 1 task. Data is stored in parquet format, with total data file size of 100MB and video file size of 200MB, at a frame rate of 30fps. Features include actions (6 float values corresponding to robot joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation states (same 6 joint positions), two camera images (camera1 and camera2, both RGB videos with 480x640 resolution and 3 channels), and metadata such as timestamp, frame index, episode index, etc. The dataset is primarily used for training or evaluating robot control algorithms, supporting visual and state observations.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用SO-Follower机器人平台，在标准化操作环境中执行上层抽屉开关任务。数据采集过程以30帧每秒的频率同步记录机器人本体感受状态与双路视觉观测，涵盖肩部旋转、升降、肘部弯曲、腕部俯仰与翻转以及夹爪开合等六个自由度的关节位置信息。全部数据被组织为两个完整回合，共计一千五百帧，按训练分支统一划分，并以Parquet格式与AV1编码视频分别存储结构化状态序列与视觉流，形成多模态时序样本。

特点

数据集聚焦于机器人操作技能中的抽屉开关任务，具有明确的具身智能研究指向。其核心特征在于多源同步观测：两路四百八十乘六百四十分辨率摄像头提供互补视角，配合三十赫兹高频采样的关节位置与动作指令，构成丰富的时空信息。机器人类型为SO-Follower，任务类别归属机器人学，整体规模精简，仅含两个回合共一千五百帧，适用于快速验证与原型测试。元信息以JSON格式详尽描述特征维度与文件组织方式，便于自动化解析与加载。

使用方法

研究者和开发者可通过HuggingFace平台直接加载该数据集，借助LeRobot提供的可视化工具在线浏览数据样本，直观理解任务执行过程。数据文件按配置默认划分，以Parquet格式存储状态与动作序列，视频文件独立存放，用户可依据元信息中的路径模板定位并读取对应片段。该数据集可用于训练或评估模仿学习、视觉运动策略等算法，亦适合作为机器人操作任务的基准测试集，支持对抽屉开关这一典型操作场景的模型性能进行定量分析。

背景与挑战

背景概述

在机器人学习领域，高质量、多样化的真实世界操作数据集是推动具身智能发展的关键基石。open-upper-drawer-r2-occ-test-spare数据集依托LeRobot框架构建，聚焦于机械臂操控上层抽屉这一典型家庭服务场景。数据集由KS325创建，采用so_follower机器人平台，以30帧每秒的速率采集了两条演示轨迹，包含1500帧、双路视觉观测及六自由度关节动作与状态信息。该数据集旨在为视觉-动作策略学习、物体遮挡条件下的操作鲁棒性研究提供标准化测试床，其命名中的“occ”暗示了对遮挡场景的关注，对推动机器人精细操作与泛化能力研究具有潜在价值。

当前挑战

该数据集所解决的核心领域问题在于机械臂在真实视觉遮挡与动态干扰下的精细操作控制。具体挑战包括：上层抽屉操作涉及关节空间连续协调与末端执行器的精确力位控制，而双路视觉输入中固有的遮挡与视角局限对策略的泛化能力构成严峻考验；此外，数据集仅包含两条演示轨迹，样本稀缺导致模型易过拟合，难以捕获任务的多模态分布。构建过程中的挑战则体现在真实机器人采集的硬件一致性保障、多模态数据（视频、关节状态、动作指令）的时间同步与对齐，以及在有限演示下确保任务覆盖度与场景多样性的平衡。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于视觉的精细操作任务长期以来依赖于高质量的示范数据。open-upper-drawer-r2-occ-test-spare数据集依托LeRobot框架构建，其经典使用场景集中于训练机器人执行开抽屉这类接触丰富的操作任务。数据集收录了2个完整回合、共计1500帧的示范数据，以30帧每秒的频率同步采集了双臂六自由度关节位置、动作指令以及双视角视觉观测，为模仿学习与视觉运动策略提供了标准化的训练与测试素材。

衍生相关工作

围绕该数据集，研究者基于LeRobot生态开展了多项衍生工作，包括视觉-语言-动作模型的微调、扩散策略在接触操作中的适配以及离线强化学习算法的基准测试。部分工作进一步利用该数据集验证多模态表征学习的有效性，或将其作为数据增强与仿真到现实迁移研究的起点，推动了开源机器人学习社区在精细操作方向上的持续积累。

数据集最近研究

最新研究方向

在机器人学习领域，基于LeRobot框架构建的open-upper-drawer-r2-occ-test-spare数据集，正推动着视觉-动作联合建模与精细操作技能的前沿探索。该数据集以SO follower机械臂执行上抽屉开启任务为背景，提供了多视角视频与六维关节位置等模态数据，成为研究遮挡条件下鲁棒策略学习与泛化能力的关键基准。近期研究聚焦于利用此类少量演示数据实现高效模仿学习，结合时序建模与多传感器融合，以提升机器人在非结构化环境中的操作精度与适应性。该数据集的出现响应了社区对可复现、标准化机器人操作数据集的需求，为算法比较与真实场景迁移提供了重要支撑，对推动具身智能发展具有积极意义。