KS325/open-lower-drawer-r2-occ-val

该数据集是一个机器人领域的数据集，使用LeRobot创建。它包含4个episodes和2998帧数据，主要用于训练机器人执行任务（例如打开下层抽屉）。数据集结构包括动作数据（如肩部、肘部、腕部和夹持器的位置）、观察数据（来自两个相机的视频图像，分辨率为480x640，帧率为30fps），以及时间戳、帧索引、episode索引等元数据。数据以Parquet格式存储，视频以MP4格式存储，总数据文件大小为100MB，视频文件大小为200MB。This dataset is a robotics dataset created using LeRobot. It contains 4 episodes and 2998 frames, primarily used for training robots to perform tasks (e.g., opening a lower drawer). The dataset structure includes action data (such as positions of shoulder, elbow, wrist, and gripper), observation data (video images from two cameras with a resolution of 480x640 and a frame rate of 30fps), and metadata like timestamp, frame index, and episode index. Data is stored in Parquet format, videos in MP4 format, with a total data file size of 100MB and video file size of 200MB.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集构建通常围绕真实机器人操作任务展开，以捕捉视觉-动作耦合关系。该数据集借助LeRobot框架生成，采用so_follower机器人执行单一开门抽屉任务，通过遥操作或预设策略采集四段回合共2998帧数据，采样频率为30帧每秒。每帧包含关节位置与夹爪动作指令，并同步记录双视角视觉观测，最终以Parquet列式存储与AV1编码视频文件组织，形成结构化数据档案，以供策略学习与验证使用。

使用方法

研究者可借助LeRobot生态工具直接加载该数据集，通过解析meta/info.json获取数据结构与特征定义。训练时，可提取observation.state与action序列构建模仿学习或强化学习策略，同时利用observation.images.camera1与camera2进行视觉编码。视频文件与Parquet数据按chunk索引对应，支持按需读取。配套的可视化Space允许在线回放回合轨迹，便于定性评估。用户亦可基于Apache-2.0许可自由修改与再分发，但需保留原始许可声明。

背景与挑战

背景概述

在机器人学习领域，构建高质量、多样化的操作数据集是推动模仿学习与策略泛化能力发展的关键。open-lower-drawer-r2-occ-val数据集依托LeRobot框架创建，聚焦于SO follower机械臂执行打开下层抽屉这一精细操作任务。该数据集包含4个演示回合、2998帧，采样频率为30Hz，并同步采集了双视角视觉观测与六自由度关节状态。作为机器人操作研究中的基准验证集，其核心研究问题在于评估视觉-动作映射在遮挡条件下的鲁棒性，为具身智能领域提供了重要的实证基础，推动了从仿真到真实环境迁移的策略研究。

当前挑战

该数据集所应对的领域问题属于机器人精细操作中的动态控制与视觉推理，要求机械臂在部分遮挡、关节耦合与抓取力控等复杂约束下完成抽屉开启动作。构建过程中，面临真实物理交互的高成本数据采集、多模态传感器时空对齐、以及确保演示轨迹一致性与可复现性等挑战。此外，数据集规模相对有限（仅4个回合），如何在少样本条件下提升策略的泛化性与抗干扰能力，仍是亟待解决的核心难题，这对算法在非结构化环境中的稳健部署提出了更高要求。

常用场景

经典使用场景

在机器人学习领域，模仿学习与视觉-动作策略的联合建模长期依赖高质量的示教数据。open-lower-drawer-r2-occ-val数据集依托LeRobot框架构建，以SO follower机械臂为平台，涵盖4个示教回合、共计2998帧的视觉-动作序列，采样频率为30帧/秒，涵盖双路480×640分辨率摄像头观测与六自由度关节位置及夹爪指令。其最经典的使用场景在于训练端到端的视觉-动作策略，使机械臂能够在视觉引导下完成打开下方抽屉的精细操作，常被用于评估模仿学习算法对接触丰富型任务的空间感知与动作序列生成能力。

解决学术问题

该数据集直面机器人操作研究中示教数据稀缺与任务泛化验证不足的难题。在学术层面，它缓解了接触丰富型操作任务中视觉-动作对齐标注困难的问题，为模仿学习、行为克隆及离线强化学习算法提供了标准化的训练与验证基准。其存在使得研究者能够在受控条件下系统比较不同视觉编码器与策略网络在关节空间控制任务中的表现，推动了机器人操作从仿真向真实场景迁移的方法论发展，对提升策略鲁棒性与数据效率具有实质意义。

实际应用

在实际应用层面，该数据集支撑家庭服务机器人与仓储自动化场景中抽屉开合操作的策略开发。通过学习人类示教中的视觉-动作映射，机器人可在非结构化环境中识别抽屉把手位置、规划末端执行器轨迹并施加适当力度完成开合动作。此类能力可直接迁移至厨房整理、实验室样品存取及物流分拣等任务，降低对精确环境建模与手工编程的依赖，提升机器人在日常操作中的自主性与适应性。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，利用LeRobot框架构建的open-lower-drawer-r2-occ-val数据集，正推动着基于视觉-动作映射的精细操作技能研究。该数据集聚焦于so_follower机械臂执行开门抽屉任务，融合双视角视觉观测与六维关节位置及夹爪状态，为模仿学习与离线强化学习提供了高质量示范。当前前沿方向侧重于以occupancy（占据）表征增强策略对空间几何的理解，进而提升在遮挡与动态环境下的泛化能力。此类数据集的开放共享，不仅加速了机器人操作基座模型的迭代，也为具身智能在家庭服务场景中的落地提供了关键数据支撑，具有显著的学术与产业意义。