KS325/open-upper-drawer-r2-occ-val

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer-r2-occ-val-expand_first"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2999, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using the LeRobot platform and is designed for robotics learning tasks. It consists of 4 total episodes with 2999 frames at 30 fps. The data comes from a so_follower robot type and includes actions (6-dimensional joint positions for shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper) and observation states (also 6-dimensional joint positions). Additionally, the dataset provides visual observations from two cameras (camera1 and camera2), both as 480x640 resolution RGB video streams. It also contains metadata such as timestamps, frame indices, episode indices, and task indices to support research in robot reinforcement learning or imitation learning. The data is stored in parquet format, with videos in mp4 format, and is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的真实世界演示数据是训练策略模型的核心基础。本数据集依托LeRobot框架进行构建，采用so_follower机械臂执行上层抽屉开启任务，全程捕获四段完整演示回合，总计2999帧，以30帧每秒的采样频率记录。每帧同步采集双路视觉观测与六维关节位置信息，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等动作维度。数据以Parquet列式存储格式组织，并按分块索引结构管理，便于高效读取与并行处理。

特点

该数据集聚焦于机器人操作中的精细动作技能，具备多模态同步观测特性。其核心特征在于同时提供两路480×640分辨率的视频流，采用av1编码，确保视觉信息的清晰度与压缩效率；动作空间与状态空间均为六自由度，与so_follower机械臂的物理构型完全对应，保证了数据的物理一致性。数据总量精炼，涵盖单一任务类型，适合作为验证集用于评估模型在特定操作场景下的泛化能力，同时其标准化元信息结构为跨数据集比较提供了便利。

使用方法

使用者可通过LeRobot工具链直接加载数据集，借助Hugging Face空间中的可视化界面预览每一回合的视觉与动作序列。数据按训练集划分，以Parquet文件与MP4视频文件分别存储状态动作记录与视觉观测，元信息文件详细定义了各字段的数据类型与维度。研究者可基于此数据开展模仿学习、行为克隆或视觉-动作联合表征学习，将观测状态与动作序列作为输入输出对训练策略网络，亦可将其作为下游任务微调与评估的基准资源。

背景与挑战

背景概述

伴随具身智能与机器人操作学习研究的蓬勃兴起，高质量、细粒度的真实机器人操作数据集成为推动策略泛化与算法迭代的关键基石。open-upper-drawer-r2-occ-val 数据集依托 LeRobot 框架构建，聚焦于上层抽屉开启这一典型接触式操作任务，采用 SO Follower 机械臂采集了 4 条演示轨迹、共计 2999 帧、30fps 的双路视觉与本体状态数据，旨在为视觉-动作策略的验证与评估提供标准化基准。该数据集延续了 LeRobot 社区在开源机器人学习资源建设上的努力，为研究者探索遮挡条件下的操作泛化提供了轻量级验证平台。

当前挑战

该数据集所应对的核心挑战在于上层抽屉开启任务中的视觉遮挡与精细接触控制：机械臂需在部分可观测条件下推理抽屉把手位姿，并施加恰当力度的拉拽动作，对策略的鲁棒性与泛化能力提出较高要求。构建过程中亦面临多重困难，包括仅 4 条轨迹、2999 帧的有限规模难以覆盖操作多样性，双相机视角下遮挡与光照变化加剧了状态估计的不确定性，以及真实机器人数据采集中的动作一致性、时间对齐与视频编码质量控制等问题，均对数据集的代表性与下游策略学习效果构成制约。

常用场景

经典使用场景

在具身智能与机器人操作学习领域，基于视觉演示的模仿学习已成为训练机械臂执行精细操作任务的主流范式。该数据集作为经典的开抽屉任务示范集，收录了so_follower机械臂执行打开上层抽屉的完整操作轨迹。每条轨迹以30帧每秒的频率同步记录双视角视觉观测、六自由度关节位置及末端执行器状态，研究者可据此构建端到端的视觉-动作映射模型，在仿真与真实环境中复现抽屉开启这一典型接触-rich操作任务，构成机器人操作学习中极具代表性的视觉模仿学习基准场景。

解决学术问题

该数据集针对机器人操作学习中示范数据稀缺与视觉-动作对齐困难等核心学术问题提供了标准化验证资源。其包含的多模态时序数据使研究者能够探究视觉表征学习、动作序列建模及长时程操作规划等关键议题，并验证策略在接触丰富任务中的泛化能力。同时，数据集严格遵循LeRobot数据规范，为不同算法提供统一的训练与评估基准，显著提升了视觉模仿学习研究的可复现性与横向可比性，推动了机器人操作学习领域方法论的规范化发展。

衍生相关工作

以该数据集为训练与验证基础，研究者可开展一系列衍生工作，包括基于扩散策略的视觉运动规划、多视角融合的模仿学习架构以及sim-to-real迁移方法等。其标准化的数据格式与LeRobot生态的兼容性，亦促进了数据增强、策略泛化与在线自适应学习等后续研究的开展，为机器人操作学习社区积累了可复用的基准资源，并推动视觉模仿学习在接触丰富任务中的持续演进。