KS325/skill-set-r2-wm-val

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/skill-set-r2-wm-val"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 64, "total_frames": 47887, "total_tasks": 5, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:64" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, specifically designed for robot control and learning tasks. It contains 64 episodes, totaling 47,887 frames, and covers 5 different tasks. The data is stored in parquet format, with video files in mp4 format at a frame rate of 30fps. The dataset features include robot actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (same 6 joint positions), two camera images (camera1 and camera2, both with 480x640 resolution, RGB channels, video codec av1), as well as metadata such as timestamp, frame index, episode index, and task index. The robot type is "so_follower", with a chunk size of 1000 frames, total data file size of 100MB, and total video file size of 200MB. This dataset is suitable for research in robot imitation learning, reinforcement learning, or the integration of computer vision and robot control.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人操作技能的学习与验证场景。数据采集以so_follower机器人平台为载体，通过遥操作或预设策略执行五类操作任务，同步记录六自由度关节位置、夹爪状态及双路视觉观测。原始数据经时间对齐与格式统一后，按动作、状态、视频等模态分列存储，并切分为64个回合、47887帧，以Parquet列式文件与AV1编码视频分别承载结构化状态与视觉信息，形成可直接用于策略学习的标准化机器人操作数据集。

特点

数据集聚焦于机器人操作技能的细粒度表征，涵盖肩部旋转、升降、肘部弯曲、腕部俯仰与旋转及夹爪开合六个动作维度，状态空间与动作空间完全对齐。视觉观测包含两路480×640分辨率的视频流，以30帧每秒的频率同步采集，可支撑视觉-动作联合建模。数据按回合与任务索引组织，包含时间戳、帧序号等元信息，便于时序建模与任务条件策略学习。整体规模适中，适合作为机器人操作策略的验证集或小样本学习基准。

使用方法

使用者可通过HuggingFace平台直接加载该数据集，利用LeRobot提供的可视化工具在线浏览视频与状态轨迹。数据以Parquet文件存储动作与状态序列，视频文件按相机键值分目录存放，便于按需读取。典型使用方式包括：加载data目录下的Parquet文件获取动作与状态，结合videos目录中的视频帧构建视觉-动作序列，用于训练或评估模仿学习、视觉运动策略等模型。数据集划分仅含训练集，可自行按回合拆分验证集，或直接用于策略的离线评估与泛化性测试。

背景与挑战

背景概述

机器人技能学习领域长期依赖真实世界交互数据以训练具备泛化能力的操作策略。skill-set-r2-wm-val数据集由LeRobot框架构建，包含64个回合、47887帧的SO follower机械臂操作记录，涵盖5类任务，以30fps的RGB视频流与关节位置、夹爪状态等六维动作信号同步采集。该数据集旨在为视觉-语言-动作模型提供标准化验证基准，推动模仿学习与具身智能在真实机器人平台上的可复现研究。其多视角观测与细粒度动作标注为策略评估提供了丰富的监督信号，对提升机器人技能迁移与任务泛化能力具有基础性支撑作用。

当前挑战

在领域层面，如何从高维视觉观测中提取与任务语义对齐的紧凑表征，并在低数据量条件下实现稳定策略学习，是机器人操作面临的长期难题。该数据集仅含64个回合，任务多样性有限，对模型跨任务泛化能力构成显著约束。构建过程中，需保证双视角视频与动作流在30fps下的精确时间同步，同时应对SO follower机械臂的关节噪声、夹爪接触不确定性与视频编解码引入的帧间伪影。此外，5类任务的标注一致性、回合间初始状态差异以及验证集划分的代表性，均对数据质量与评估效度提出严峻考验。

常用场景

经典使用场景

在机器人模仿学习与技能泛化研究领域，skill-set-r2-wm-val数据集凭借其多任务、多模态的特性，成为验证策略学习算法的经典基准。该数据集涵盖64个回合、47887帧的机械臂操作演示，每条轨迹同步采集双视角视觉观测与六自由度关节状态，并标注动作序列，为行为克隆、视觉-语言-动作模型预训练及离线强化学习提供了标准化的训练与验证资源。研究者可依托该数据集评估模型在复杂操作任务中的泛化能力与鲁棒性，其30Hz的采样频率与LeRobot框架的原生兼容性进一步降低了实验复现的门槛。

实际应用

在实际部署场景中，skill-set-r2-wm-val数据集可服务于协作机器人及柔性制造系统的技能学习与自适应控制。基于该数据训练的策略模型能够迁移至真实的so_follower机械臂平台，执行诸如抓取、放置、关节空间轨迹跟踪等典型操作任务。其双摄像头配置模拟了工业环境中常见的多视角感知设置，有助于提升模型对遮挡与光照变化的鲁棒性。此外，数据集所包含的多样任务演示为快速原型验证提供了便利，缩短了从算法研发到产线部署的迭代周期。

衍生相关工作

依托LeRobot生态体系，skill-set-r2-wm-val数据集已衍生出一系列经典工作，涵盖基于Transformer的视觉-动作序列建模、扩散策略在连续控制中的应用以及多任务提示学习框架。相关研究利用该数据集验证了动作分块、时序对比学习与语言条件策略等方法的有效性，并以此为基础发布了多个预训练模型与基准评测协议。这些工作不仅丰富了机器人技能学习的算法工具箱，也为后续大规模多模态数据集的设计与评估提供了参照范式。