KS325/open-upper-drawer-r2-emp-val-spare

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer-r2-emp-val-expand_second"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2974, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics control dataset created using the LeRobot tool. It contains 4 episodes, totaling 2974 frames, and involves 1 task. The data is stored in parquet format, with videos in mp4 format. The dataset features include: action, consisting of 6 float values representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper); observation.state, also with 6 float values indicating current joint positions; two camera images (observation.images.camera1 and camera2), both RGB videos at 480x640 resolution with 30 fps frame rate; and metadata such as timestamp, frame index, episode index, index, and task index. This dataset is suitable for robotics learning and control tasks, such as imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专注于机器人操作技能的示教与评估。数据采集以SO-Follower机械臂为平台，针对上抽屉开启这一单一任务，通过遥操作或预设策略生成动作序列，并同步记录机械臂的关节位置、末端执行器状态及双视角视觉信息。所有轨迹以30帧每秒的频率采样，经统一的时间戳对齐与帧索引标注后，按Parquet列式存储格式封装，形成共计4个回合、2974帧的标准化数据单元。该构建流程遵循LeRobot v3.0规范，确保数据在机器人学习社区中的互操作性与可复现性。

特点

数据集的核心特征体现在多模态同步与精细动作表征的深度融合。其动作空间与状态空间均涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合六个维度，完整刻画了机械臂的位姿变化。两路分辨率为480×640的AV1编码视频流提供了丰富的视觉观测，帧率与动作采样严格对齐。任务维度单一而明确，总帧数达2974帧，分割为训练集全部四个回合，适合作为机器人模仿学习或策略评估的轻量级基准。数据以分块结构组织，每块不超过1000个回合，便于高效读取与流式处理。

使用方法

使用者可借助LeRobot工具链直接加载该数据集，通过解析meta/info.json获取数据路径、特征定义与分片信息，进而从Parquet文件中读取动作、状态及时间戳等结构化数据，并从对应视频路径提取双视角视觉帧。典型应用场景包括训练视觉-动作联合策略、评估模型在抽屉开启任务上的泛化能力，或进行离线强化学习实验。Hugging Face Spaces提供的可视化工具支持在线浏览数据集轨迹，便于直观核验数据质量与任务执行过程。使用时需留意遵循apache-2.0许可协议，并在衍生工作中适当引用数据集来源。

背景与挑战

背景概述

伴随具身智能与机器人操作研究的纵深推进，面向真实物理场景的高质量示范数据日益成为制约算法泛化的关键瓶颈。open-upper-drawer-r2-emp-val-spare数据集依托LeRobot开源生态构建，聚焦单臂机器人开启上层抽屉这一典型精细操作任务，采集了4个回合、共计2974帧、30fps的双视角视觉与本体状态数据，涵盖肩部、肘部、腕部及夹爪等六维关节位置信息，为模仿学习与视觉-运动策略研究提供了标准化验证资源。该数据集延续了机器人操作基准从仿真走向真实、从粗放走向精细的趋势，对推动家庭服务场景中的可泛化操作策略评估具有基础性意义。

当前挑战

该数据集所锚定的上层抽屉开启任务，本质上要求机器人在遮挡、狭小空间与接触约束下完成厘米级精度的运动规划与力觉协调，其领域挑战在于如何从高维视觉观测中提取可迁移的接触前兆特征，并在关节限位与机械臂奇异位形约束下保持轨迹平滑性。构建过程中，真实机器人遥操作带来的示教噪声、双摄像头标定与时间同步误差、以及动作状态序列中潜在的抖动与延迟，均构成数据质量控制的难点；4个回合的有限规模虽满足验证需求，却难以支撑大规模预训练，如何在样本稀疏条件下保证任务多样性与语义一致性，亦是数据采集与后续使用中不可回避的挑战。

常用场景

经典使用场景

在机器人操作学习领域，针对日常家居场景中抽屉开启任务的高效策略习得，该数据集提供了基于so_follower机械臂的精细示范轨迹，涵盖肩部旋转、肘部屈伸、腕部调节及夹爪控制等多维动作空间。其经典用法在于依托30帧/秒的视觉观测与同步状态记录，支撑模仿学习算法对开启上层抽屉这一特定任务的端到端策略训练，进而实现从原始像素到关节位姿映射的精准建模。

衍生相关工作

围绕该数据集，衍生的经典工作多集中于基于LeRobot框架的模仿学习与视觉-动作联合建模，例如利用行为克隆或扩散策略实现抽屉开启的鲁棒控制，以及探索多任务迁移与数据增强策略以提升小样本泛化能力。这些工作进一步推动了开源机器人数据集在算法评测与可重复研究中的标准化进程。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，基于LeRobot框架构建的open-upper-drawer-r2-emp-val-spare数据集聚焦于开门任务中的精细操作技能习得，其近期研究方向着重于利用少量演示样本实现高效的模仿学习与策略泛化。该数据集包含4个演示回合共2974帧，以30fps同步采集双视角视觉观测与六自由度关节位置及夹爪状态，为视觉-动作映射建模提供了结构化基础。当前研究趋势倾向于结合扩散策略与行为克隆方法，探索在有限数据条件下机器人对抽屉开启等接触密集型任务的鲁棒控制，并借助LeRobot生态的标准化接口推动跨平台策略迁移与评估。该数据集的意义在于为社区提供可复现的基准，加速从仿真到真实场景的灵巧操作算法迭代，对家庭服务机器人等应用具有潜在影响。