KS325/open-lower-drawer-r2-occ-val-spare

该数据集是一个机器人学数据集，专为机器人控制和模仿学习任务设计，使用LeRobot工具创建。数据集包含4个完整的情节（episodes），总计2975帧数据，涉及1个具体任务。机器人类型为so_follower，数据以parquet文件格式组织，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集的特征包括：动作（action）和观测状态（observation.state），均为6维浮点数组，对应机器人的肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置；观测图像来自两个摄像头（camera1和camera2），每个摄像头提供480x640分辨率、3通道（RGB）的视频数据，编码为av1格式；此外，还包括时间戳、帧索引、情节索引、索引和任务索引等元数据。数据集主要用于训练和评估机器人模仿学习模型，支持多模态输入（如关节状态和视觉信息）。This dataset is a robotics dataset designed for robot control and imitation learning tasks, created using the LeRobot tool. It contains 4 complete episodes, totaling 2975 frames, and involves 1 specific task. The robot type is so_follower, and the data is organized in parquet file format, with a total data file size of 100MB and video file size of 200MB, at a frame rate of 30fps. The dataset features include: action and observation.state, both as 6-dimensional float arrays corresponding to the robots shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions; observation images from two cameras (camera1 and camera2), each providing video data at 480x640 resolution with 3 channels (RGB), encoded in av1 format; additionally, it includes metadata such as timestamp, frame index, episode index, index, and task index. The dataset is primarily used for training and evaluating robot imitation learning models, supporting multimodal inputs (e.g., joint states and visual information).

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量、标准化的操作数据集是推动模仿学习与策略泛化研究的重要基石。本数据集依托LeRobot框架进行构建，采用so_follower机器人平台，针对单一的下拉抽屉任务采集了4个演示回合，累计2975帧、帧率为30Hz的视觉运动数据。数据以Parquet列式存储格式按分块方式组织，同时配套mp4视频文件，涵盖动作指令与机器人本体状态等六维关节位置信息，以及两路分辨率为480×640的同步摄像头视觉观测，并通过任务索引、回合索引与时间戳等元数据实现帧级对齐，形成结构清晰、可复现的机器人操作数据资源。

特点

该数据集面向机器人操作技能学习场景，具有维度简洁、模态互补与组织规范等特征。其动作空间与状态空间均由肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置六个维度构成，便于策略网络的直接建模与迁移。两路RGB摄像头以AV1编码提供第一视角与辅助视角的视觉信息，帧率为30帧每秒，能够支撑视觉-动作联合表征学习。数据集遵循LeRobot v3.0代码库规范，采用1000帧分块与约100MB文件切分策略，兼顾存储效率与读取便利性，适用于小样本条件下的验证与消融实验。

使用方法

使用该数据集时，研究者可借助LeRobot提供的工具链完成加载与解析，通过HuggingFace Spaces上的可视化入口直接浏览回合回放，直观核验动作轨迹与视觉观测的对应关系。数据以Parquet文件存储于data目录之下，视频文件按video_key分目录组织，用户可依据meta/info.json中定义的数据路径模板与特征结构进行索引，将动作、本体状态与多路视觉观测按时间戳对齐后输入到模仿学习或离线强化学习流程中。该数据集适用于策略预训练、低维动作预测与视觉表征评估等任务，也可作为验证算法在有限演示数据下泛化能力的基准资源。

背景与挑战

背景概述

机器人操作技能的学习与泛化长期依赖高质量示范数据，而抽屉开启作为家庭与工业场景中的基础操作，其数据稀缺限制了策略的迁移能力。open-lower-drawer-r2-occ-val-spare数据集由LeRobot框架构建，采用SO-100 follower机械臂，于2024年前后发布，包含4个回合、2975帧、30fps的视觉-动作对，聚焦于下层抽屉开启任务。该数据集虽规模有限，但为遮挡场景下的机器人操作策略验证提供了标准化基准，推动了模仿学习与视觉运动控制领域对遮挡鲁棒性的研究。

当前挑战

该数据集所解决的领域问题在于遮挡条件下的机器人精细操作，即机械臂需在视觉部分或完全遮挡时完成下层抽屉的开启，这对感知与控制的耦合提出了极高要求。构建过程中，机械臂需在有限回合内平衡探索与利用，同时保证多视角视频与关节状态、动作序列的严格时序对齐。具体挑战包括：遮挡导致的观测不完整、稀疏示范下的策略过拟合风险、以及真实机器人执行中的动态误差累积，这些问题共同构成了该数据集在泛化性与鲁棒性评估中的核心难点。

常用场景

经典使用场景

在具身智能与机器人操作学习领域，该数据集最典型的使用场景是作为视觉-动作策略的监督学习训练资源，面向SO系列机械臂执行开抽屉这一精细操作任务。数据集以30帧每秒的采样频率记录了4条完整演示轨迹，累计2975帧图像-动作对，涵盖六自由度关节位置与夹爪状态，并同步采集双路480×640分辨率的视觉观测。研究者通常将其用于行为克隆或模仿学习的基线实验，借助LeRobot框架直接加载parquet格式数据，考察策略在低数据量条件下对特定操作技能的习得能力，同时可利用其验证划分进行泛化性能的初步评估。

实际应用

在实际应用中，该数据集可服务于家庭服务机器人与仓储自动化场景中抽屉开启这一类常见操作任务的算法原型开发。工程师能够利用其训练轻量级策略网络，部署于SO follower机械臂平台，实现基于视觉反馈的自主开抽屉动作。该数据亦可用于验证遥操作数据的采集流程与存储规范，为后续更大规模数据集的构建提供格式参照。在仿真到现实迁移、边缘设备推理等工程实践中，其提供的真实关节轨迹与多视角图像可作为性能调试与误差分析的参照依据。

衍生相关工作

围绕该数据集，衍生工作主要集中于基于LeRobot生态的模仿学习算法评测与可视化分析。研究者借助HuggingFace平台上的数据集可视化工具对该任务进行轨迹回放与质量审查，并以此为基础开展行为克隆策略的超参数对比实验。相关衍生实践包括将其作为验证集用于检验在扩展演示数据上训练的模型泛化能力，以及与同类开抽屉数据集进行跨任务迁移的探索。这些工作共同丰富了低数据量机器人操作学习的方法论体系，并为后续数据集版本的迭代提供了经验积累。