KS325/skill-set-r2-train

该数据集是一个机器人数据集，使用LeRobot创建，专为机器人学习任务设计。数据集包含168个episodes，总计122,829帧，覆盖5个不同的任务。数据以parquet文件格式存储，视频文件为MP4格式，帧率为30fps。数据集的特征包括动作（action）、状态观测（observation.state）、两个摄像头图像（observation.images.camera1和camera2，分辨率480x640，3通道），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为so_follower，动作和状态观测均包含6个关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）。数据集适用于机器人控制、模仿学习或强化学习等研究领域。This is a robotic dataset developed using LeRobot, specifically designed for robot learning tasks. The dataset contains 168 episodes, totaling 122,829 frames across 5 distinct tasks. The data is stored in Parquet file format, while the video files are in MP4 format with a frame rate of 30fps. The dataset features include action, observation.state, two camera images (observation.images.camera1 and observation.images.camera2, with a resolution of 480×640 and 3 channels), as well as metadata such as timestamps, frame index, episode index, index and task index. The robotic platform is of type so_follower, and both the action and observation.state include 6 joint positions, namely shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position. This dataset is applicable to research fields such as robot control, imitation learning and reinforcement learning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的采集是推动策略泛化与技能迁移的关键基础。skill-set-r2-train数据集依托LeRobot框架构建，采用so_follower机械臂执行多样化操作任务，以30帧/秒的频率同步采集六自由度关节位置与双路视觉观测信息。数据以Parquet列式存储格式按块组织，视频流以AV1编码保存，全量涵盖168个回合、122829帧，涉及5类任务，并以训练集划分形式完整开放，为模仿学习与机器人技能研究提供了标准化的数据基础。

特点

该数据集在结构设计与任务覆盖上体现出显著的机器人学习特性。其动作空间与状态空间均为六维关节位置，包含肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合，与双路480×640分辨率视觉流形成多模态观测。数据集元信息完整记录机器人类型、帧率、分块大小与特征维度，支持按时间戳、帧索引、回合索引及任务索引进行细粒度检索。五类任务涵盖不同操作技能，为研究多任务策略学习与技能组合提供了丰富的监督信号。

使用方法

在使用层面，该数据集可直接加载于LeRobot生态中，借助HuggingFace平台提供的数据集可视化空间进行在线浏览与质量核验。研究人员可通过标准Parquet读取接口获取动作序列与状态轨迹，并结合视频路径解码双路视觉观测，用于训练视觉-动作映射模型或行为克隆策略。由于数据以训练集形式完整发布，使用者可依据任务索引进行子集筛选，或按回合索引划分验证集。该数据集适用于模仿学习、多任务策略训练及机器人操作技能分析等场景。

背景与挑战

背景概述

机器人技能学习领域长期依赖多样化、大规模的真实操作数据以驱动策略泛化，而高质量示范数据的稀缺制约了模仿学习与视觉-语言-动作模型的进展。skill-set-r2-train数据集依托LeRobot框架构建，于2020年代中前期由Hugging Face及其协作社区共同贡献，采用so_follower机械臂平台，涵盖168条示范轨迹、122829帧、30帧每秒的同步视觉与本体状态记录，涉及5类操作任务，以Apache-2.0许可开放。该数据集的核心研究问题在于为机器人多任务技能习得提供可复现的标准化训练资源，其结构化的状态-动作对与双视角视频流为策略学习与泛化评估奠定了数据基础，对具身智能领域的开放科学实践具有推动作用。

当前挑战

在领域问题层面，该数据集致力于破解机器人操作技能从有限示范向多任务泛化的难题，其挑战在于如何在动作空间连续、视觉观测高维且任务语义各异的条件下，使学习策略同时具备任务辨识与精细控制能力。构建过程中，数据采集需协调真实机械臂的伺服精度与双摄像头同步，确保时间戳对齐和帧率稳定；不同任务间物体布局与操作动态的差异对示范一致性和标注可靠性提出严苛要求；视频编码与状态记录的存储格式需兼顾LeRobot规范与下游训练效率，同时Apache-2.0许可下的数据伦理与可追溯性亦须审慎处理。

常用场景

经典使用场景

在机器人学习领域，技能习得与泛化始终是核心议题。skill-set-r2-train数据集立足于模仿学习与视觉运动控制的经典范式，提供了涵盖五项任务、168个回合、逾十二万帧的丰富演示数据。其最典型的使用场景在于训练端到端的视觉-动作策略模型：研究者利用双路摄像头采集的480×640视觉观测与六自由度关节位置及夹爪状态，构建从高维感知输入到连续动作输出的映射关系，进而使机械臂能够在多样任务中习得精细的操作技能。

实际应用

在真实场景中，该数据集可服务于机械臂的技能复现与任务适配。基于其训练的模型能够部署于so_follower型机械臂平台，执行诸如抓取、放置及简单装配等操作任务。工业自动化与家庭服务机器人领域可借此快速构建原型系统，减少对人工示教的依赖。此外，该数据集支持策略的离线预训练，为后续的在线微调与仿真到现实的迁移学习奠定了数据基础，具有显著的工程应用价值。

衍生相关工作

依托LeRobot生态体系，skill-set-r2-train催生了一系列衍生工作。研究者基于其标准化格式开发了多样化的模仿学习算法，如行为克隆、扩散策略及动作分块变压器等，并在该数据集上验证了各自方法的有效性。同时，围绕其视觉-动作对数据，涌现出面向机器人感知的预训练视觉编码器与多模态表征学习研究。这些工作共同丰富了开源机器人学习资源，促进了算法与数据之间的协同演进。