KS325/skill-set-r2-test

该数据集由LeRobot创建，用于机器人学任务。它包含24个episodes，总计17985帧，涉及5个不同任务。数据以parquet文件格式存储，视频文件为MP4格式，帧率为30fps。数据集特征包括动作数据（如shoulder_pan.pos、shoulder_lift.pos等6个关节位置）、观察状态（关节位置和两个摄像头图像，分辨率480x640，RGB三通道）、时间戳、帧索引、episode索引等，适用于机器人模仿学习或强化学习研究。数据集结构支持训练分割，数据文件总大小约100MB，视频文件总大小约200MB。This dataset was created using LeRobot for robotics tasks. It includes 24 episodes, totaling 17985 frames, and covers 5 different tasks. The data is stored in parquet files, with video files in MP4 format at 30fps. Features include action data (e.g., shoulder_pan.pos, shoulder_lift.pos, etc., for 6 joint positions), observation states (joint positions and images from two cameras, resolution 480x640, RGB three channels), timestamps, frame indices, episode indices, and more, suitable for robot imitation learning or reinforcement learning research. The dataset structure supports a training split, with total data file size around 100MB and video file size around 200MB.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用so_follower型机器人采集多任务操作数据。数据以30帧每秒的频率记录，完整保存了机械臂六个自由度的关节位置与夹爪状态，并同步采集两路480×640分辨率视频流，总计24个回合、17985帧，覆盖5项不同任务。数据经分块处理后以Parquet格式存储，视频编码为AV1，形成结构化、可复现的机器人技能学习数据集。

使用方法

使用者可通过HuggingFace平台直接加载数据集，利用LeRobot提供的可视化工具在线预览数据分布与任务执行过程。数据以Parquet文件存储于data目录，视频文件按视频键分块存放，可根据meta/info.json中的路径模板解析。研究者可基于此数据训练机器人操作策略，或将其作为基准测试集评估算法在真实机器人任务中的表现。

背景与挑战

背景概述

机器人操作技能的习得与泛化长期受制于高质量示范数据的匮乏，传统采集手段因设备异构与标注繁琐而难以规模化。skill-set-r2-test数据集依托LeRobot框架构建，由Hugging Face社区贡献者于2024年前后发布，采用Apache-2.0许可，以SO-100/SO-101系列桌面机械臂为载体，涵盖5类操作任务、24条演示轨迹及约1.8万帧30fps同步视频与关节状态记录。其核心研究问题在于为模仿学习与视觉-运动策略提供标准化、可复现的基准，以降低具身智能研究的门槛，并推动开源机器人学习生态的协同演进。

当前挑战

该数据集所应对的领域问题属于视觉引导的机器人精细操作，其根本挑战在于如何从有限演示中习得对物体位姿、接触力与任务时序的鲁棒表征。构建过程中，研究者需克服多相机时空对齐、关节指令与视觉观测的精确同步、任务语义的层级化标注以及异构硬件间动作空间归一化等困难。受限于演示规模与任务多样性，当前数据在跨场景泛化、长时序任务分解以及动态干扰下的策略稳定性方面仍存在显著瓶颈，对模型的小样本适应与仿真到现实迁移能力提出了严峻考验。

常用场景

经典使用场景

在机器人学习领域，模仿学习已然成为赋予机械臂灵巧操作技能的核心范式。skill-set-r2-test数据集以其精心采集的24个episode、近一万八千帧的多视角视觉与本体状态记录，构筑起一个面向SO-Follower机械臂的技能学习基准。其最经典的使用场景在于，研究者依托LeRobot框架，利用双路摄像头捕获的时空视觉信息与六自由度关节位置序列，训练策略网络以习得抓取、放置等基础操作技能，从而在仿真与真机之间架设起技能迁移的桥梁。

解决学术问题

该数据集有效回应了机器人技能学习中数据稀缺、多任务泛化困难与视觉-动作对齐复杂等学术痛点。通过提供涵盖5类任务的同步视频与关节状态轨迹，它为策略网络提供了丰富的时空监督信号，使研究者得以探究模仿学习中的分布偏移、多模态融合与长程时序建模等核心问题。其意义在于，为技能组合与泛化能力的评估提供了标准化试验台，推动了从单任务示教向多技能协同这一研究范式的演进。

实际应用

在实际应用层面，skill-set-r2-test数据集支撑着从实验室原型向工业与服务场景过渡的关键环节。其采集的机械臂操作轨迹可直接用于训练分拣、装配与物料搬运等自动化流程中的策略模型。借助LeRobot工具链，开发者能够快速复现并部署端到端的视觉运动控制策略，从而在柔性制造、仓储物流以及危险环境作业中，以较低的数据采集成本实现机械臂技能的快速习得与迭代。

数据集最近研究

最新研究方向

在机器人学习领域，技能泛化与多任务策略一直是核心挑战。skill-set-r2-test数据集依托LeRobot框架，以so_follower机械臂为载体，涵盖24个演示回合、5项不同任务，提供六自由度动作与状态数据及双视角视频流，为模仿学习与视觉-语言-动作模型研究提供了标准化测试平台。当前前沿工作聚焦于利用此类多任务数据集提升策略的跨任务迁移能力，探索基于大规模演示的预训练范式，并借助LeRobot生态的标准化接口推动可复现研究。该数据集的出现有助于缓解机器人领域数据碎片化问题，为通用操作策略的评估与迭代提供关键支撑，对推动具身智能从单任务向技能集合的演进具有积极意义。