KS325/open-upper-drawer-r2-occ-test

该数据集由LeRobot创建，专为机器人学任务设计。它包含来自so_follower机器人的数据，总共有2个episodes和1499帧，覆盖1个任务，帧率为30fps。数据以parquet文件格式存储，特征包括动作（6个关节位置：shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos）、观测状态（同样包含6个关节位置）、两个摄像头图像（camera1和camera2，分辨率为480x640，视频编码为av1），以及时间戳、帧索引、episode索引等元数据。数据集主要用于机器人控制和学习任务。This dataset was created using LeRobot and is designed for robotics tasks. It contains data from a so_follower robot, with a total of 2 episodes and 1499 frames, covering 1 task at a frame rate of 30fps. The data is stored in parquet format and includes features such as action (6 joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation state (also with 6 joint positions), two camera images (camera1 and camera2, with a resolution of 480x640, video codec av1), and metadata like timestamp, frame index, episode index, etc. The dataset is intended for robot control and learning applications.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用so_follower机械臂执行上层抽屉开启任务，通过遥操作或预设策略采集演示数据。原始记录以30帧每秒的频率同步捕获六维关节位置、动作指令及双路视觉观测，经编码为AV1格式视频后，按分块结构组织成Parquet文件存储，形成包含2个回合、1499帧的有效训练样本，并明确划分训练集，为机器人操作技能学习提供了标准化的数据基础。

特点

数据集聚焦于现实世界中的抽屉开启操作，任务语义清晰且具有代表性。其核心特点在于多模态同步性，同时提供两个视角的视觉信息与机器人本体状态、动作序列，且所有数据均以统一的时间戳对齐。视频采用高效的AV1编码，在保证画质的同时降低存储开销；数据结构遵循LeRobot规范，元信息完整，涵盖机器人类型、帧率及特征定义，便于直接用于模仿学习或离线强化学习算法的开发与评测。

使用方法

研究者可通过HuggingFace平台直接加载该数据集，利用LeRobot工具库解析Parquet与视频文件，依据meta/info.json中的拆分与路径规则读取训练数据。使用时，可将视觉观测与状态向量输入策略网络，以动作序列作为监督信号进行模型训练，亦可通过可视化空间实时回放任务过程，辅助调试与算法验证。数据集遵循Apache-2.0许可，允许在学术与商业场景中自由使用与修改。

背景与挑战

背景概述

伴随具身智能与灵巧操作研究的纵深推进，机器人操作数据集成为驱动策略泛化与算法迭代的关键基础设施。open-upper-drawer-r2-occ-test数据集依托LeRobot框架构建，采用so_follower机器人平台，聚焦上层抽屉开合这一典型接触密集型任务，采集了2条演示轨迹、共计1499帧、30帧每秒的多视角视觉与本体感知数据。该数据集旨在为遮挡条件下的精细操作策略学习提供基准，折射出学界对真实环境中部分可观测问题的持续关切，对推动机器人操作从实验室走向非结构化场景具有潜在的参考价值。

当前挑战

该数据集所直面的核心难题在于遮挡条件下的操作状态估计与策略鲁棒性：当机械臂本体或外部物体遮挡目标抽屉时，视觉观测信息部分缺失，策略需依赖时序推理与本体感知补偿完成动作决策，这构成了对现有模仿学习方法的严峻考验。在构建层面，接触密集型任务本身存在轨迹采集的高精度要求，抽屉开合过程中的力觉反馈与运动约束难以通过纯视觉完整刻画；同时，多视角同步、帧率稳定性以及演示数据的一致性均为数据质量控制带来额外负担。有限演示样本下的泛化能力亦是制约该数据集广泛应用的现实瓶颈。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，开放上抽屉任务作为典型的接触密集型操作，常被用于评估机械臂在复杂环境中的灵巧操作能力。该数据集通过LeRobot框架采集，提供了两个完整的演示回合，总计1499帧，频率为30Hz，涵盖六自由度机械臂的关节位置、夹爪状态以及两路视觉观测。经典使用场景聚焦于模仿学习与视觉-动作策略的端到端训练，研究者可借助这些多模态时序数据，探索从原始图像到关节动作的映射关系，进而验证算法在真实物理交互中的泛化性能。

实际应用

在实际应用层面，该数据集可服务于家庭服务机器人、仓储物流自动化等场景中的抽屉操作任务。例如，在智能家居环境中，机器人需要自主打开各类抽屉以取放物品，该数据集提供的演示轨迹能够用于训练策略模型，使其适应不同材质、把手形状和开合阻力的抽屉。在工业质检或实验室自动化中，类似的操作技能同样具有迁移价值，通过微调或域适应技术，可将学习到的策略部署至实际机械臂平台，提升作业的自动化水平与柔性。

衍生相关工作

基于该数据集，研究者可衍生出一系列经典工作，包括但不限于：利用扩散策略或ACT（Action Chunking Transformer）进行动作序列生成，探索视觉-语言-动作模型在特定任务上的微调范式，以及开发基于对比学习的视觉表征预训练方法。此外，该数据集还可用于元学习框架下的快速适应研究，或作为评估离线强化学习算法在真实机器人数据上表现的试验台。这些衍生工作共同丰富了机器人操作学习的方法论体系，并为后续数据集构建与基准测试提供了参考。