KS325/open-upper-drawer-r2-emp-test

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer-r2-emp-test-expand_first"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 2, "total_frames": 1499, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:2" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and focuses on robotics tasks, specifically involving robot manipulation. It contains 2 episodes with a total of 1499 frames, stored in parquet format for data and mp4 format for videos, with a frame rate of 30fps. Features include action (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state (same 6 joint positions as action), two camera images (camera1 and camera2, both with 480x640 resolution and 3 channels RGB), as well as timestamp, frame index, episode index, index, and task index. The robot type is so_follower, with a chunk size of 1000, total data file size of 100MB, and total video file size of 200MB. The dataset is suitable for training and testing robot control models, especially for tasks based on visual and state feedback.

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量且标注精细的数据集是驱动模仿学习算法迭代的关键基础。该数据集依托LeRobot框架生成，记录操作任务中机械臂的运动轨迹与多视角视觉信息。整个构建流程遵循LeRobot标准数据采集与封装规范，共收录2个完整回合，累计1499帧，采样频率稳定在30帧/秒，并将所有数据按Parquet列式格式存储。动作与状态向量统一包含肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置六个自由度，双路摄像头同步采集分辨率达480×640的视频流，由此构建出时空对齐的多模态范式。

特点

该数据集最显著的特征在于其多模态同步性：每个时间步均同步提供六维动作指令与六维本体感知状态，并配有两路独立视角的视频帧，可支撑视觉-动作联合建模。数据规模虽为2个回合，但时间密度高且帧级对齐精确，单任务设定使其适用于精细化操作场景下的算法验证。视频采用AV1编码，在保证压缩效率的同时保留色彩细节，且不包含音频信息，聚焦视觉-运动模态。数据集整体按训练集划分，附带元信息文件详细记录机器人类型、数据路径模板及特征维度，便于使用者快速掌握数据布局。

使用方法

使用该数据集时，可通过LeRobot库提供的加载接口直接读取Parquet数据文件与配套视频，并依据meta/info.json中定义的数据路径模板定位各字段。鉴于任务类别为机器人操作，典型用法是构建摄动-感知-动作的模仿学习流程，例如训练视觉运动策略网络以预测动作序列。研究者亦可利用可视化工具在线预览数据分布与轨迹质量，或按照任务索引抽取指定回合进行离线分析。由于数据已按HuggingFace数据集格式组织，可直接用于标准训练管线，亦可作为评测基准用于算法泛化能力的检验。

背景与挑战

背景概述

在机器人学习领域，高质量的开源数据集是推动算法进步与可复现研究的关键基础设施。open-upper-drawer-r2-emp-test数据集由KS325团队基于LeRobot框架构建，聚焦于机器人操作任务中的抽屉开启动作，旨在为视觉-动作策略学习提供真实世界演示数据。该数据集采用SO follower机械臂，采集频率为30Hz，包含2个演示回合与1499帧，同步记录双路视觉观测及六自由度关节状态与动作序列，为端到端模仿学习与视觉运动控制研究提供了细粒度数据支撑，在具身智能与机器人操作领域具有积极的实证参考价值。

当前挑战

该数据集所解决的领域问题属于机器人精细操作范畴，具体为抽屉开启任务中的视觉引导运动规划。其核心挑战涵盖真实环境中物体交互的精确建模与高维感知-动作空间的映射学习。构建过程中面临多重约束：真实机器人演示采集成本高昂导致样本量有限，仅2个回合的数据难以充分覆盖任务变化与视觉多样性；多模态数据需严格时空对齐，双路视频与关节状态的同步精度直接影响策略训练效果；机械臂动力学特性与视觉观测噪声亦引入额外不确定性，对数据清洗与标注质量提出较高要求。

常用场景

经典使用场景

在机器人学习领域，该数据集作为仿真环境中上层抽屉开启任务的专家演示集合，经典使用场景聚焦于基于视觉的模仿学习与策略评估。研究者常借助其双摄像头视角的同步视频流与六自由度关节位置及动作序列，训练端到端的视觉运动策略，使机械臂能够在动态环境中复现开启抽屉的精细操作。

解决学术问题

该数据集直面机器人操作中长时程任务规划与视觉泛化的学术难题，为验证模仿学习算法在有限演示下的样本效率提供了基准。通过提供统一的仿真环境和标准化数据格式，它缓解了不同研究之间因硬件差异导致的可复现性危机，推动了策略学习、动作分块及多模态表征等方向的实证研究。

衍生相关工作

以该数据集为基础，后续工作衍生出多项经典研究，包括基于扩散策略的视觉运动规划、动作分块Transformer的长期任务执行，以及结合语言指令的多任务泛化方法。这些工作进一步拓展了数据集在跨具身迁移与少样本适应等前沿课题中的应用边界。