KS325/skill-set-r2-wm-train

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/skill-set-r2-wm-train"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 224, "total_frames": 163342, "total_tasks": 5, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:224" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics skill dataset created using LeRobot, designed for robotics tasks. It contains 224 training episodes, 5 tasks, and a total of 163342 frames, with data files sized at 100MB and video files at 200MB, running at 30fps. The data is stored in parquet format, and videos are in mp4 format. Features include 6-dimensional float actions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper positions), 6-dimensional float state observations (same as actions), video observations from two cameras (camera1 and camera2, resolution 480x640, 3 channels, AV1 codec), and metadata such as timestamp, frame index, episode index, index, and task index. The robot type is follower, suitable for robot control and learning applications.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，以so_follower机器人平台为载体，通过遥操作或程序化控制方式采集多任务操作示范。采集过程同步记录机器人本体状态、动作指令及双路视觉观测，形成时间对齐的多模态序列。原始数据经分块处理后以Parquet列式存储，视频流则编码为AV1格式的MP4文件，最终以统一的v3.0数据规范组织为224个回合、163342帧的标准化数据集。

使用方法

使用者可通过LeRobot库加载Parquet数据文件与视频流，依据meta/info.json中的路径模板定位各分块内容。数据可按回合或帧索引进行切片，动作与状态字段可直接用于策略网络训练。视频特征可通过解码器读取，并与状态序列对齐。该数据集亦支持在HuggingFace空间中进行可视化预览，便于快速验证数据质量与任务分布。

背景与挑战

背景概述

机器人技能学习领域长期依赖高质量、多样化的操作演示数据，以支撑模仿学习与策略泛化研究。skill-set-r2-wm-train数据集依托LeRobot框架构建，采用so_follower机器人平台，汇集224条演示轨迹、163342帧30fps同步视频与关节状态记录，覆盖5类操作任务。该数据集面向多任务机器人操作策略训练，通过标准化数据格式与充足的任务多样性，为视觉-动作联合建模提供可复现的基准资源，对推动灵巧操作与跨任务泛化研究具有基础性支撑意义。

当前挑战

该数据集所应对的领域问题在于有限任务类别下的策略泛化与视觉-动作对齐：5类任务能否覆盖真实操作场景的丰富性，以及224条轨迹是否足以学习稳健的闭环控制策略，仍是待验证的关键。构建过程中需同步采集双路视频与六自由度关节状态，并保证时间戳对齐、帧率一致与轨迹质量，对硬件同步和数据处理流程提出较高要求。此外，任务种类偏少、场景多样性有限，可能制约模型在未见任务与复杂环境中的迁移能力。

常用场景

经典使用场景

在机器人技能学习与模仿学习领域，该数据集凭借224个回合、逾16万帧的多视角视觉-动作配对数据，成为训练视觉-语言-动作模型与行为克隆策略的经典语料。其涵盖五个任务、六自由度机械臂位姿与夹爪状态，配合双路480×640视频流，常被用于端到端策略学习、离线强化学习以及世界模型的构建与评估，尤其适合研究长时程操作中的动作序列建模与多任务泛化能力。

解决学术问题

该数据集缓解了机器人操作研究中真实世界演示数据稀缺且任务多样性不足的困境，为行为克隆中的分布偏移、多任务干扰以及视觉表征迁移等核心问题提供了可复现的实验基准。其统一的LeRobot格式与标准化的元信息使不同算法能够在相同数据条件下公平比较，对推动模仿学习从单任务向多任务、从仿真向真实机器人迁移具有实质意义。

实际应用

在实际部署中，该数据集可用于训练面向so_follower机械臂的操作策略，支撑桌面抓取、物体摆放及工具使用等典型任务的自动化执行。开发者可借助LeRobot工具链直接加载数据，完成策略微调后迁移至真实硬件，从而缩短从实验室算法到工业分拣、家庭服务等场景的落地周期，并为远程操控与自主作业提供数据驱动的决策基础。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，skill-set-r2-wm-train数据集依托LeRobot框架构建，聚焦于多任务技能习得与视觉-动作联合建模的前沿探索。当前研究热点集中于利用大规模遥操作演示数据训练通用操作策略，尤其是基于So-Follower机械臂平台，通过六自由度动作空间与双路视觉观测的协同表征，推动模仿学习与视觉-语言-动作模型在复杂技能序列中的泛化能力。该数据集涵盖224个回合、逾16万帧、5类任务，为技能组合、世界模型预测及跨任务迁移提供了高质量的基准支撑，对提升机器人自主操作水平与通用性具有重要的学术与工程意义。