KS325/skill-set-r2-val

该数据集使用LeRobot创建，专注于机器人学任务。数据集包含48个训练集，总帧数为35940，覆盖5个不同任务。数据以30fps的帧率采集，存储为parquet文件，并附带mp4格式的视频文件。机器人类型为so_follower，特征包括动作数据（6个关节位置：肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹持器位置），观测状态（相同关节位置），以及来自两个相机（camera1和camera2）的图像观测，每个图像分辨率为480x640、3通道RGB视频。此外，数据集包含时间戳、帧索引、集索引、总索引和任务索引等元数据。所有数据均用于训练分割，适用于机器人控制和模仿学习研究。This dataset was created using LeRobot and focuses on robotics tasks. It contains 48 episodes for training, with a total of 35,940 frames and covers 5 distinct tasks. Data is collected at 30 fps, stored in parquet files, and accompanied by video files in mp4 format. The robot type is so_follower, featuring action data (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state (same joint positions), and image observations from two cameras (camera1 and camera2), each with a resolution of 480x640, 3-channel RGB video. Additionally, the dataset includes metadata such as timestamp, frame index, episode index, overall index, and task index. All data is allocated to the training split, suitable for research in robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，遵循机器人学习领域标准化的数据采集与组织范式。构建过程以so_follower机械臂为物理平台，通过遥操作或预设策略执行五类技能任务，同步记录多模态时序数据。原始数据经格式统一与结构化封装，转化为Parquet列式存储文件，并配套生成视频压缩流。元信息文件（meta/info.json）精确标定机器人类型、帧率、任务总数及特征维度，数据按分块索引组织，形成可直接加载的标准化数据集。

特点

数据集聚焦机器人技能学习场景，涵盖48个回合、35940帧、5项任务，以30帧/秒的稳定频率采集。特征空间包含六维关节位置动作与状态向量，并集成两路640×480分辨率的AV1编码视频流，支持视觉-动作联合建模。数据文件采用分块存储策略，兼顾读取效率与扩展性。所有回合划归训练集，提供时间戳、帧索引、回合索引及任务索引等辅助字段，便于时序对齐与任务条件策略研究。

使用方法

使用者可借助HuggingFace平台提供的可视化空间在线浏览数据集内容，直观校验视频与动作序列的对应关系。通过LeRobot库可便捷加载Parquet数据文件与视频资源，解析多模态特征用于模仿学习、行为克隆或技能策略训练。数据路径遵循分块命名规范，支持按需读取特定片段。训练时可依据任务索引与回合索引划分实验单元，结合时间戳与帧率进行时序建模，进而复现或改进机器人技能学习算法。

背景与挑战

背景概述

在机器人学习与具身智能快速演进的浪潮中，高质量、标准化的操作技能数据集成为推动算法泛化的关键基础设施。skill-set-r2-val数据集依托LeRobot框架构建，采用so_follower机器人平台，以30帧/秒的采样频率，涵盖48个回合、35940帧、5类任务，提供双路视觉观测与关节位置、动作指令等多模态标注。该数据集诞生于开源机器人学习社区对可复现、可比较基准的迫切需求之下，旨在为模仿学习与技能泛化研究提供细粒度验证支撑，其结构化组织方式与Apache-2.0许可协议进一步促进了社区协作与算法迭代。

当前挑战

该数据集所应对的领域问题在于，如何让机器人在有限示范下习得并泛化多类操作技能，同时保持对视角变化、物体位姿扰动及执行噪声的鲁棒性。构建过程中的挑战同样显著：真实机器人数据采集需协调硬件稳定性与环境一致性，48个回合的示范需覆盖5类任务的不同执行模式，而双路摄像头同步、关节状态与动作序列的精确对齐、视频编码压缩带来的信息损失，均对数据质量构成潜在影响。此外，35940帧的规模虽能支撑基础验证，但面对高维视觉-动作联合分布建模时，样本多样性与任务覆盖度仍显局促。

常用场景

经典使用场景

在机器人模仿学习与技能泛化研究领域，skill-set-r2-val数据集凭借其多任务、多视角的视觉-动作序列记录，已成为验证策略泛化能力的经典基准。该数据集包含48个回合、近3.6万帧的so_follower机器人操作演示，覆盖5种不同任务，每个时间步均同步采集双路RGB视频（480×640分辨率、30帧每秒）与六自由度关节位置及夹爪状态。研究者通常将其用于评估模仿学习算法在未见任务变体上的表现，例如通过行为克隆或扩散策略，训练机器人从原始视觉输入直接映射到连续动作，从而检验模型在动态环境中的鲁棒性与适应性。

衍生相关工作

围绕skill-set-r2-val数据集，研究者已衍生出若干经典工作，包括基于Transformer的视觉-动作序列建模、对比学习驱动的状态表征预训练，以及多任务策略蒸馏与元学习框架。这些工作利用该数据集的丰富时序与多视角特性，探索了长时程技能组合、少样本任务适配及跨具身迁移等前沿方向。部分研究进一步将其与LeRobot生态中的其他数据集联合训练，推动了开源机器人学习基准的标准化进程，为后续大规模技能库构建奠定了数据基础。

数据集最近研究

最新研究方向

在机器人技能学习与泛化领域，skill-set-r2-val数据集为验证多任务策略的鲁棒性提供了关键基准。基于LeRobot框架，该数据集涵盖48个演示回合、35940帧及5类操作任务，采用so_follower机械臂与双视角视觉观测，推动了模仿学习与视觉-语言-动作模型在真实场景中的迁移研究。当前前沿方向聚焦于利用此类结构化数据开展跨任务技能组合、少样本适应及策略泛化性评估，尤其关注多模态观测与动作序列的时空对齐。该数据集与具身智能社区对标准化评测的迫切需求相呼应，为算法在非结构化环境中的可重复验证与性能对比提供了重要支撑，对加速机器人从实验室走向实际应用具有积极意义。