KS325/open-upper-drawer-r2-emp-train

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer-r2-emp-train-expand_first"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 14, "total_frames": 10490, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:14" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This is a robotics dataset created using the LeRobot tool. It utilizes the so_follower robot type, with a total of 14 episodes and 10490 frames, encompassing one task. The data is stored in parquet format, split into a training set (all episodes). Features include action (comprising 6 joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation state (same joint positions as action), two camera images (observation.images.camera1 and camera2, both in video format with resolution 480x640, 3 channels, 30fps), and other metadata such as timestamp, frame index, episode index, etc. The dataset is primarily intended for robotics control or imitation learning tasks, involving the collection of visual and action data.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用遥操作或示教方式采集机械臂执行开启上层抽屉任务的运动轨迹。数据以30帧每秒的频率同步记录动作指令与状态观测，涵盖肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置六个维度的关节角度。原始数据经分块存储与Parquet格式封装，并按训练集划分，形成包含14个回合、10490帧的结构化机器人操作数据集。

特点

数据集聚焦于单一精细操作任务，即开启上层抽屉，具备典型机器人操作任务的代表性与挑战性。其显著特点在于多模态同步采集：两个视角的RGB视频流与本体状态、动作向量在时间上严格对齐，为视觉-运动策略学习提供完整信息。数据规模适中且标注完整，动作空间与状态空间采用相同的六维关节表示，便于策略网络直接映射。视频分辨率640×480、帧率30Hz，兼顾细节与计算效率。

使用方法

使用该数据集时，可依据meta/info.json中定义的路径模板定位Parquet数据文件与对应视频文件，按chunk索引与文件索引读取。每个回合的帧序列包含动作、状态、时间戳及任务索引，可直接用于模仿学习、行为克隆或离线强化学习。LeRobot提供可视化工具，支持在HuggingFace空间在线查看数据分布与轨迹质量，便于数据筛选与预处理。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界操作数据集对于训练通用策略至关重要。open-upper-drawer-r2-emp-train数据集由LeRobot框架构建，于2024年发布，主要研究人员或机构未在README中明确，但LeRobot作为Hugging Face生态系统的一部分，致力于推动机器人学习的开源发展。该数据集聚焦于上层抽屉打开任务，包含14个回合、10490帧，以30fps记录，使用so_follower机器人，旨在解决视觉运动控制中的精细操作问题。其核心研究问题在于如何利用少量示范数据实现鲁棒的抽屉开启行为，对家庭服务机器人领域具有潜在影响力，为模仿学习和端到端策略训练提供了标准化基准。

当前挑战

该数据集所解决的领域问题——基于视觉的机器人精细操作，面临诸多挑战。在任务层面，抽屉开启要求机器人精确协调肩部、肘部、腕部和夹爪的运动，同时处理视觉遮挡、光照变化和物体位置的不确定性。在构建过程中，挑战包括：采集真实机器人数据时需确保动作的连贯性和成功率高，14个回合的有限样本可能导致策略泛化能力不足；多相机视频流与状态动作的对齐需要精细的时间同步；此外，数据集的单一任务特性限制了其在多任务场景下的适用性。这些挑战凸显了机器人学习中对更大规模、多样化真实数据的需求。

常用场景

经典使用场景

在机器人学习领域，机械臂操作任务的长程规划与精细控制一直是核心挑战。open-upper-drawer-r2-emp-train数据集作为基于LeRobot框架构建的示范数据集，经典使用场景聚焦于训练机械臂完成打开上层抽屉这一具体任务。数据集包含14个演示回合、10490帧，配备两个视觉摄像头（480×640分辨率）和6自由度动作状态（肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置），采样频率30Hz。研究者通常利用该数据集进行模仿学习或强化学习算法的训练与评估，使机械臂能够在视觉引导下自主执行抽屉开启动作，涵盖从接近抽屉、抓取把手到拉开抽屉的完整流程。

衍生相关工作

基于open-upper-drawer-r2-emp-train数据集，研究者已衍生出多项经典工作。例如，利用该数据集训练的视觉模仿学习模型被扩展至其他抽屉操作任务，如关闭抽屉、多层抽屉顺序操作等；部分工作将其作为基准，对比不同策略架构（如ACT、Diffusion Policy）在精细操作中的表现；还有研究结合该数据集探索数据增强与仿真到现实迁移方法，以提升策略的泛化能力。这些衍生工作不仅丰富了机器人操作的数据资源，也推动了LeRobot生态在开源机器人学习领域的应用与迭代。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，该数据集聚焦于基于视觉-动作联合建模的精细化操作任务，特别是以SO-Follower机械臂完成上层抽屉开启这一高精度动作。近年来，随着LeRobot等开源机器人学习框架的推广，研究者愈发关注如何利用小规模、高频率采样的真实操作数据推动模仿学习与视觉运动策略的泛化能力。该数据集以30fps、双视角视频流及六自由度动作标注为特征，为探索端到端策略学习、跨视角表征对齐以及任务级泛化提供了典型实验场景。其发布契合了当前机器人操作向家庭服务场景延伸的热点趋势，对推动数据高效利用与真实环境部署具有积极意义。