KS325/open-upper-drawer-r2-occ-val-spare

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer-r2-occ-val-expand_second"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2998, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, specifically designed for robot learning tasks. It contains 4 episodes with a total of 2998 frames at 30 fps. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB. Dataset features include: action and observation.state, both containing 6 joint positions (shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos); two camera observation images (observation.images.camera1 and camera2) with 480x640 resolution and 3-channel color video; and metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower, suitable for training and validating robot control models.

搜集汇总

数据集介绍

构建方式

该数据集借助LeRobot框架构建，面向机器人操作学习场景，采用so_follower机械臂作为采集平台。数据采集围绕单一任务展开，共计4个回合、2998帧，以30帧每秒的频率记录。每一帧均同步捕获机械臂的六维关节位置与动作指令，包括肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等维度，并由两路摄像头分别录制480×640分辨率的视觉信息。数据以Parquet列式格式存储，视频则采用AV1编码，按分块方式组织，便于高效读取与分布式训练。

特点

该数据集聚焦于上层抽屉操作任务的机器人学习，具备多模态同步采集的显著特性。其观测状态与动作空间均为六自由度连续量，精确刻画了机械臂的位姿变化与夹爪控制。双路视觉传感器从不同视角提供丰富的环境感知信息，增强了策略学习的空间理解能力。数据规模虽精简，却涵盖了完整任务回合与逐帧时间戳、帧索引等元信息，为模仿学习与视觉运动策略研究提供了结构清晰、标注完备的轻量级样本。

使用方法

使用者可依托LeRobot代码库直接加载本数据集，借助HuggingFace平台提供的可视化空间在线回放数据采集过程，直观审视任务执行细节。数据按训练集划分，以Parquet文件与视频文件分别存储，可通过读取meta/info.json获取特征定义与路径模板，进而按块索引高效载入。该数据集适用于训练与评估机器人模仿学习算法，尤其适合视觉-动作联合建模的离线策略学习，亦可作为机械臂操作任务中感知与控制的基准验证资源。

背景与挑战

背景概述

在机器人学习与模仿学习领域，高质量的真实世界操作数据集是推动算法泛化与技能迁移的关键基石。open-upper-drawer-r2-occ-val-spare数据集依托HuggingFace LeRobot框架构建，采用so_follower机械臂采集，包含4个回合、2998帧、30fps的视觉-动作轨迹，任务聚焦于开启上层抽屉这一日常操作。该数据集以Apache-2.0协议开放，旨在为机器人操作策略的验证与评估提供标准化基准，其多视角视频与本体状态记录为视觉-运动控制研究提供了细粒度监督信号，对具身智能领域的可复现研究具有积极意义。

当前挑战

该数据集所应对的核心领域问题在于复杂接触-rich操作中的泛化性与鲁棒性——开启抽屉涉及视觉定位、关节力矩控制与动态交互，对策略的感知-动作协同提出高要求。构建过程中，数据采集面临真实机器人操作的固有挑战，包括机械臂运动学约束下的轨迹规划、多视角视觉信息的时间同步与标定、以及有限回合数（仅4个）带来的样本稀疏性问题。此外，occ-val与spare命名暗示了其对遮挡与备用场景的潜在关注，如何在少量演示下实现有效评估与策略迁移，仍是机器人模仿学习社区亟待突破的难点。

常用场景

经典使用场景

在机器人学习与操作策略研究中，该数据集通常被用于训练和评估视觉-动作映射模型，尤其是针对精细操作任务（如打开上层抽屉）的模仿学习与离线强化学习。其包含4个回合、2998帧、30fps的多视角视频与本体状态记录，并涵盖6自由度的动作空间，为算法提供高时序分辨率的示范轨迹，便于研究者探索视觉感知与机械臂控制之间的耦合关系。

实际应用

在实际应用层面，该数据集可用于家庭服务机器人或仓储自动化场景中上层抽屉的开启任务，帮助开发者验证视觉伺服、轨迹规划与末端执行器控制的集成效果。其多相机视角与关节位置记录可用于调试感知-控制流水线，也可作为仿真到现实迁移的参考数据，支撑真实机器人系统的快速原型迭代与性能评估。

衍生相关工作

该数据集基于LeRobot框架构建，衍生工作主要围绕LeRobot生态中的策略学习与可视化工具展开，例如利用其标准化格式进行模仿学习算法的训练与评测，以及借助可视化空间进行数据质量检查与轨迹分析。相关研究可能进一步扩展至多任务操作、跨本体迁移以及基于该数据集的模型鲁棒性研究，形成与开源机器人学习工具链紧密结合的经典工作。