KS325/open-lower-drawer-r2-emp-train

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-lower-drawer-r2-emp-train-expand_first"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 14, "total_frames": 10254, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:14" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and focuses on robotics tasks. It contains 14 total episodes, 10254 total frames, and involves one task (opening a lower drawer). The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB, at a frame rate of 30fps. Features include action and observation state, both comprising 6 floating-point joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position). Observations also include image data from two cameras (camera1 and camera2), each with video resolution of 480x640, 3 channels, using the av1 codec. The dataset also includes timestamps, frame indices, episode indices, indices, and task indices. The robot type is so_follower, suitable for training and experimental purposes.

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量示范数据的采集与组织对于策略训练至关重要。该数据集依托LeRobot框架构建，采用so_follower机器人平台，通过遥操作或程序化控制方式执行下层抽屉开启任务，完整记录14个回合共10254帧的多模态时序数据。数据以Apache-2.0协议开放，按1000回合分块存储为Parquet文件，并同步保存AV1编码的双路视频，每路分辨率640×480、帧率30fps，形成状态、动作与视觉观测严格对齐的训练样本。

特点

该数据集聚焦单一精细操作任务，动作与状态维度均为六自由度，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置，物理语义清晰。其显著特征在于双摄像头同步采集，提供互补视角的视觉信息，且视频采用高效AV1编码，兼顾存储效率与画质。全部数据以30Hz频率采样，时间戳、帧序号与回合索引齐备，便于时序建模与跨回合分析，为机器人学习研究提供了结构规整、可复现的数据基础。

使用方法

使用该数据集时，可借助LeRobot生态工具直接加载Parquet数据文件与对应视频流，依据meta/info.json中的特征定义解析动作、状态及图像观测。研究者既可将数据用于模仿学习或强化学习算法的离线训练，也可利用HuggingFace提供的可视化空间在线浏览任务执行过程。数据按训练集划分，支持按需读取指定回合与帧区间，便于开展消融实验与策略评估，同时遵循Apache-2.0许可要求进行学术引用与二次开发。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界操作数据集是实现通用机器人策略的关键基石。open-lower-drawer-r2-emp-train数据集基于LeRobot框架构建，采用SO-100 follower机器人平台，通过遥操作方式采集了14个回合、共计10254帧的下拉抽屉操作数据，涵盖六自由度关节位置与双视角视觉观测。该数据集聚焦于真实环境下精细接触操作的数据驱动学习，为模仿学习与视觉-动作策略研究提供了标准化的训练资源。其构建遵循LeRobot v3.0规范，推动了机器人操作技能的开放共享与可复现研究，对具身智能领域的发展具有积极的支撑作用。

当前挑战

该数据集所应对的领域问题属于真实机器人精细操作范畴，其核心挑战在于：一，下拉抽屉任务要求机器人精准协调肩、肘、腕及夹爪的运动，在接触力学与视觉遮挡条件下完成稳定的抓取与拉拽，对策略的鲁棒性要求极高；二，数据采集依赖遥操作，操作者的技能差异可能引入噪声，且双视角视觉与高频动作的同步标定增加了数据处理的复杂度；三，14个回合的样本量相对有限，如何在该规模下实现策略的有效泛化，仍是亟待解决的难题。

常用场景

经典使用场景

在机器人学习领域，尤其是针对精细操作技能的习得，open-lower-drawer-r2-emp-train数据集构成了一个典型的示教数据资源。该数据集基于SO-100 follower机器人平台，通过遥操作方式采集了14个回合的‘打开下层抽屉’任务演示，共计10254帧，帧率为30Hz，涵盖了动作序列、关节状态以及双视角视觉观测。其最经典的使用场景莫过于模仿学习算法的训练与评估，研究者利用这些高质量的演示数据，驱动策略网络学习从视觉输入到关节动作的映射，从而赋予机器人自主完成抽屉开启任务的能力。

衍生相关工作

以该数据集为基础，衍生出了一系列与LeRobot生态紧密相关的研究工作。例如，基于LeRobot框架的模仿学习算法（如ACT、Diffusion Policy）常将其作为标准测试集，用以验证算法在真实机器人任务上的性能。此外，该数据集还促进了多任务学习与元学习方向的探索，研究者尝试将其与其它操作任务数据集联合训练，以提升策略的泛化能力。这些衍生工作不仅丰富了机器人学习的数据资源，也为后续 benchmarks 的构建提供了参考。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，open-lower-drawer-r2-emp-train数据集作为基于LeRobot框架构建的精细化操作数据集，正推动着低维动作空间下长时序任务模仿学习的研究前沿。该数据集聚焦于SO follower机械臂执行抽屉下拉这一典型接触密集型操作，通过14个训练回合、逾万帧30fps的多视角视觉与本体状态记录，为视觉-动作联合表征学习提供了高质量样本。当前研究热点集中于利用此类小规模但结构化的真实机器人数据，探索数据高效模仿学习与任务泛化能力，以缓解大规模数据采集成本高昂的瓶颈。其意义在于为社区提供可复现的标准化基准，促进灵巧操作策略在家庭服务与工业装配等场景中的迁移应用，同时呼应了开源机器人学习生态对透明、可扩展数据资源的迫切需求。