KS325/skill-set-r2-wm-test

该数据集是一个机器人数据集，使用LeRobot工具创建。数据集包含32个episodes，总计23978帧，涉及5个不同的任务。数据以parquet文件格式存储，视频文件为mp4格式。数据集特征包括机器人的动作（6个关节位置）、观察状态（6个关节位置）、两个摄像头图像（分辨率480x640，3通道彩色视频，30fps）、时间戳、帧索引、episode索引、任务索引等。机器人类型为so_follower。数据集主要用于机器人学习和控制任务。This dataset is a robotics dataset created using the LeRobot tool. It contains 32 episodes, totaling 23978 frames, and involves 5 different tasks. The data is stored in parquet file format, with video files in mp4 format. Dataset features include robot actions (6 joint positions), observation states (6 joint positions), two camera images (resolution 480x640, 3-channel color video, 30fps), timestamps, frame indices, episode indices, task indices, etc. The robot type is so_follower. The dataset is primarily used for robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用SO-100 follower机械臂作为数据采集平台，通过遥操作方式完成5类任务共计32个回合的演示，每个回合以30帧每秒的频率同步记录六维关节位置、双路摄像头视频流及任务索引等元信息。原始数据以Parquet格式按块存储，视频以AV1编码压缩，最终形成包含23978帧的高质量机器人操作轨迹数据集，全程遵循Apache-2.0许可协议。

特点

数据集聚焦于机器人技能学习与世界模型评估场景，涵盖5种不同任务，总计32条演示轨迹和23978帧样本。观测空间融合双视角RGB视频与六自由度本体感知状态，动作空间为六维关节位置控制指令，所有视频以480×640分辨率、30fps采集，具备时间戳与回合索引等细粒度标注，适用于模仿学习、策略泛化及视频预测等研究。

使用方法

研究者可通过HuggingFace平台直接加载Parquet格式的数据文件，或利用LeRobot工具库中的可视化空间在线浏览视频与轨迹。数据按训练集划分（0:32），支持按chunk索引读取，便于批量处理。典型用途包括训练行为克隆模型、评估世界模型对视觉观测的预测能力，以及验证多任务策略迁移效果，使用时应遵循Apache-2.0许可条款并引用数据集来源。

背景与挑战

背景概述

机器人操作技能的通用化学习是具身智能领域的核心议题，其数据基础深刻影响着策略的泛化边界。skill-set-r2-wm-test数据集依托LeRobot框架构建，采用so_follower机械臂平台，包含32个回合、23978帧、5类任务，以30fps同步采集双路视觉观测与六维关节位置及夹爪动作，旨在为视觉-动作联合建模提供标准化、可复现的基准。该数据集回应了机器人学习中对多任务技能表征与跨任务迁移的迫切需求，其规范化的数据结构有助于推动模仿学习与视觉运动策略研究的可比较性。

当前挑战

所解决的领域问题在于，如何在有限演示样本下实现多任务操作技能的鲁棒学习与泛化，传统方法常受制于任务单一、观测模态不足及动作空间异构。构建过程中，需确保双路摄像头与机械臂本体感受信号的高精度时间同步，并应对30fps高帧率带来的数据存储与处理压力；同时，5类任务间的动作分布差异要求数据采集协议兼顾一致性与多样性，而仅32个回合的规模亦对模型的小样本适应能力构成挑战，如何在数据效率与任务覆盖间取得平衡是该数据集面临的关键难题。

常用场景

经典使用场景

在机器人技能学习与灵巧操作的研究中，该数据集典型地用于训练基于视觉-动作映射的模仿学习策略。其包含32条演示轨迹、5项不同任务，总帧数近2.4万，每帧同步记录6自由度机械臂关节位置与双路RGB视频，为端到端策略网络提供了密集的状态-动作对。研究者常以行为克隆框架，利用该数据集教导机械臂完成抓取、移动等基础操作，并评估模型在未见物体位置与光照条件下的泛化能力。

解决学术问题

该数据集有效缓解了机器人操作领域高质量演示数据稀缺的困境，尤其为小样本模仿学习与视觉运动策略的基准测试提供了标准化的多任务平台。通过固定机械臂型号与相机配置，它降低了不同实验室之间结果复现的门槛，使算法在动作预测误差、任务成功率等指标上具备可比性。其多任务特性亦支持研究任务间知识迁移与元学习，推动了从单任务模仿向通用操作技能学习的范式转变。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典工作，包括基于变分自编码器的动作序列生成、引入时空注意力机制的视觉编码器、以及结合扩散模型的策略学习方法。这些工作以该数据集为验证基准，在IROS、CoRL等会议中报告了任务成功率与轨迹平滑度的提升。后续研究亦将其用作预训练数据，结合少量新任务演示实现少样本微调，推动了通用机器人策略库的构建与开源生态的繁荣。