KS325/open-upper-drawer-r2-emp-val

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer-r2-emp-val-expand_first"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2997, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics task dataset created using LeRobot. It contains 4 complete episodes, totaling 2997 frames, and involves one task. The features include: action data (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), observation state (the same 6 joint positions as actions), image observations from two cameras (camera1 and camera2, with 480x640 resolution, RGB three channels, 30 fps), and metadata such as timestamp, frame index, episode index, and task index. The data is stored in Parquet format, and videos are stored in MP4 format, suitable for research in robot control, reinforcement learning, or imitation learning.

搜集汇总

数据集介绍

构建方式

在机器人学习与操作策略研究的背景下，该数据集依托LeRobot框架完成构建，采用SO Follower机械臂类型进行数据采集。数据集共包含4个回合的演示数据，总计2997帧，采样频率为30帧/秒。数据以Parquet文件格式存储于data目录下，元信息通过meta/info.json进行标准化定义，涵盖动作空间、观测状态、双路视觉图像及时间戳等特征维度。每个回合记录任务为单一操作目标，动作与观测状态均包含六个关节位置信息，图像数据则以AV1编码的MP4视频形式保存，分辨率为480×640。

特点

该数据集面向机器人操作学习任务，具有明确的具身智能研究指向。其状态与动作空间维度均为6，涵盖肩部旋转、升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置，单位与量纲统一。视觉观测由两路摄像机提供，帧率为30Hz，尺寸为480×640，采用yuv420p像素格式，不包含深度信息与音频。数据集划分仅含训练集，共4个回合，任务索引单一，适合作为验证集用于策略评估或小样本学习场景。整体结构紧凑，元数据完整，便于快速加载与模型验证。

使用方法

在机器人策略学习与验证流程中，该数据集可通过LeRobot工具链进行加载与可视化。用户可借助HuggingFace Spaces提供的可视化界面直接浏览数据内容，亦可基于Parquet文件路径与视频路径自定义数据读取逻辑。由于数据集划分仅包含训练集，适用于模型验证或作为评估基准使用。使用时需关注动作与观测状态的六维关节位置对齐，以及双路视觉输入的时间同步。开发者可结合meta/info.json中的特征定义，构建数据加载器，适配模仿学习或强化学习算法的输入需求。

背景与挑战

背景概述

在具身智能与机器人学习交汇的前沿，操作技能的数据驱动习得已成为突破通用操纵瓶颈的关键路径。open-upper-drawer-r2-emp-val数据集依托LeRobot框架构建，聚焦于上层抽屉开启这一典型日常操作任务，于2024年前后由HuggingFace社区研究者贡献并发布。该数据集以SO follower机械臂为载体，采集了4个完整回合共2997帧的多模态示教数据，涵盖双视角视觉观测、六维关节状态与动作序列，旨在为视觉-动作映射策略的经验验证提供细粒度基准。其核心研究问题在于如何从有限示教中提炼鲁棒的抽屉开启技能，对家居服务机器人精细操作领域具有实证参考价值。

当前挑战

该数据集所应对的领域挑战在于上层抽屉开启任务本身蕴含的接触丰富性、关节摩擦不确定性及视觉遮挡问题，要求策略具备亚厘米级末端定位与自适应力控能力。在构建层面，数据采集受限于真实机器人硬件成本与操作安全约束，仅能获取极少回合的示教样本，导致数据规模与多样性严重受限，难以支撑高容量模型的充分训练。同时，双相机视角下的运动模糊、光照变化与抽屉把手反光造成观测噪声，而30帧率下的动作时序对齐精度亦对模仿学习算法的时序建模能力提出挑战。如何在样本稀缺与感知噪声并存的条件下实现稳定泛化，构成该数据集当前面临的核心难题。

常用场景

经典使用场景

在机器人模仿学习与具身智能研究领域，该数据集最典型的使用场景在于训练机械臂完成精细操作任务。作为一个基于LeRobot框架构建的验证集，其核心任务为打开上层抽屉，包含了四条高质量的操作演示轨迹，总计近三千帧、三十赫兹的视觉-动作同步数据。研究者通常借此数据评估策略网络对六自由度机械臂关节位姿与夹爪开合状态的建模能力，尤其是视觉观测与本体感知的融合效果。其双路视觉输入与低维本体状态、动作标签的组合方式，为端到端的行为克隆与视觉运动策略学习提供了标准化的数据接口，便于直接接入现有训练管线进行快速验证。

解决学术问题

该数据集有助于缓解机器人操作研究中真实演示数据稀缺与任务验证缺乏统一基准的困境。在学术层面，它针对的是精细操作策略泛化能力评估的问题，为模仿学习算法在受限数据条件下的表现提供了可复现的测试平台。尽管规模有限，其明确的任务定义与规范化的数据结构，使得不同策略在相同输入输出空间上的对比成为可能，从而为视觉表征学习、动作序列建模以及多模态融合等方法的有效性判定提供了客观依据。其价值在于以标准化的数据格式降低了实验门槛，推动了机器人学习社区在验证方法上的规范化进程。

衍生相关工作

该数据集依托LeRobot开源框架而构建，其衍生的相关工作多集中于基于LeRobot生态的模仿学习基准建设与策略模型开发。围绕此类抽屉开启任务，社区已涌现出若干行为克隆与扩散策略的验证性研究，用于比较不同视觉编码器与动作解码头在精细操作中的表现。同时，该数据集的格式规范也为后续扩展数据集，如增加多任务、多物体交互场景的版本提供了模板。在更广泛的具身智能研究中，它与同系列的其他操作任务数据集共同构成了用于评估通用机器人策略的验证集合，推动了从单一任务演示向多任务泛化能力评估的演变。