HyeonseokE/SO101-cap_sort_RGBblock_to_matchingplate_10fps_60epi

该数据集使用LeRobot创建，是一个机器人学习数据集，专门用于cap_sort_RGBblock_to_matchingplate任务，涉及排序彩色积木到匹配板。数据集包含60个剧集，总计52293帧，以10fps录制。数据特征包括机器人状态观察（如关节位置）、动作控制、顶部和左腕摄像头视频（分辨率480x640）、技能信息（如自然语言描述和验证问题）以及子任务细节。机器人类型为so101_follower，数据集结构包括训练分割，文件格式为parquet和视频mp4，适用于机器人控制和视觉任务研究。This dataset was created using LeRobot and is a robotics learning dataset specifically for the cap_sort_RGBblock_to_matchingplate task, involving sorting colored blocks to a matching plate. It contains 60 episodes with a total of 52293 frames recorded at 10fps. The features include robot state observations (e.g., joint positions), action controls, top and left wrist camera videos (resolution 480x640), skill information (such as natural language descriptions and verification questions), and subtask details. The robot type is so101_follower, and the dataset structure includes a training split with files in parquet and video mp4 formats, suitable for research in robot control and vision tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操作任务提供精细化的演示数据。数据采集过程通过so101_follower型号的机械臂在真实物理环境中执行RGB方块分拣至匹配板的特定任务，并以每秒10帧的采样频率记录，共计60个完整演示回合（episodes），累积超过5.2万帧有效数据。数据以Parquet格式存储结构化信息，同时采用H.264编码的视频文件记录多视角视觉观测，包括顶部摄像机和左腕摄像机的高清画面。元信息文件详细描述了数据集的版本、机器人类型、任务数量及数据分割方式，其中全部回合均划归至训练集。特征维度涵盖机械臂6自由度的实时关节状态、末端执行器的xyzrp位姿、夹爪二进制状态，以及动作指令和技能元数据，形成了结构统一、粒度精细的机器人操作数据集。

特点

该数据集的核心特点在于其完备的多模态信息融合与精细化的技能标注体系。每一帧数据同时包含关节空间状态、笛卡尔空间位姿、夹爪状态、多角度视觉图像以及时间戳等原始观测量，并创新性地引入了自然语言描述的技能（skill）与子任务（subtask）层级标注，分别对应高层次的任务意图（如“放置方块至匹配板”）与低层次的操作目标（如目标物体名称与三维坐标）。技能进度、验证问题及目标位置的联合记录，使得数据集不仅适用于模仿学习与行为克隆等传统范式，更能支撑基于语言指令的任务分解与技能合成研究，为机器人智能体赋予对操作过程的语义理解能力提供了宝贵数据资源。

使用方法

该数据集的使用需依托LeRobot开源库，用户可通过调用LeRobot框架提供的数据加载接口读取Parquet格式的序列化数据以及相关联的MP4视频文件。数据集配置文件包含完整的特征定义，诸如关节位置、末端位姿、图像帧与自然语言标注等字段均可作为模型输入进行灵活组合。在训练或评估环节，推荐采用基于滑动窗口的时序采样策略，利用每秒10帧的固定帧率与1000帧的数据块大小构建连续轨迹样本。数据集特别支持将技能编号、子任务文本和进度值作为条件标签，适用于条件式模仿学习或语言条件策略训练，用户亦可借助LeRobot内置的可视化工具直观浏览各回合的机器人操作过程及其对应的语义标注。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，模仿学习作为一种高效策略，在精细操作任务中展现出巨大潜力。SO101-cap_sort_RGBblock_to_matchingplate_10fps_60epi数据集由研究者HyeonseokE等人基于LeRobot框架创建，专注于机器人对彩色方块进行识别并放置至匹配底盘的装配任务。该数据集包含了60个演示片段、超过5.2万帧的高频（10fps）视觉与状态记录，涵盖顶部及左腕双视角RGB图像，以及六自由度关节位置、末端执行器姿态与夹爪状态等多模态信息。其核心研究问题聚焦于如何利用多模态感知数据，驱动SO101型机器人实现精准的物体分类与放置操作，为机器人工业装配与分拣场景提供了宝贵的训练资源，在推动基于视觉的灵巧操作策略研究中具有重要影响力。

当前挑战

该数据集所解决的领域问题在于，机器人对形状相似但颜色不同的物体进行精确分类与放置操作，传统固定程序难以适应物件排列变化。数据集构建面临多重挑战：首先，需要保证双视角图像与关节状态在10fps下的严格同步采集，以实现对快速动作轨迹的忠实还原；其次，60个片段的有限规模要求模型具备强大的泛化能力，避免过拟合于特定演示；再者，自然语言技能描述与子目标位置等结构化标注的引入，增加了对语义与空间信息对齐的复杂要求。此外，机器人末端执行器在抓取与释放瞬间的触觉反馈缺失，使得纯视觉引导下的放置精度成为关键瓶颈。

常用场景

经典使用场景

该数据集聚焦于机器人分拣作业中的精细操作任务，具体场景为将彩色积木从识别区域精准抓取并匹配至对应颜色的托盘。数据集以10帧/秒的频率记录60个完整演示片段，涵盖5万余帧多模态数据，包括顶部与腕部双视角高清视频、六自由度关节状态、末端执行器位姿及夹爪开合状态。这些丰富信息使研究者能够训练机器人模仿人类操作策略，实现从视觉感知到运动控制的端到端学习。其设计尤其适合研究基于视觉的机器人抓取与放置（pick-and-place）任务中的位姿估计、轨迹规划及闭环控制等核心问题。

实际应用

在实际工业场景中，该数据集可直接服务于柔性制造与物流仓储系统。例如，基于此数据训练的模型可部署于协作机器人，完成电子元件色环分拣、药品胶囊颜色分类或食品级塑料制品的颜色筛选等任务。数据集包含的自然语言标注和子任务进度信息，使其能支持人机交互式编程——操作人员仅需用语言描述目标（如“将红色积木放在红色板上”），机器人即可自动生成执行策略。此外，双视角视频配置特别适用于需要精细深度感知的透明或反光物体抓取，显著增强了机器人在非结构化环境中的适应性。

衍生相关工作

该数据集衍生了多个机器人学习领域的重要研究方向。其结构化的多模态特征设计直接启发了基于潜在空间分解的模仿学习算法，研究者利用其关节状态与视觉图像的时序对齐特性，开发出可解释的注意力机制模型。数据集中的子任务标注体系催生了层级式技能发现工作，这类方法能够将复杂的长程操作自动分解为可复用的基元动作。同时，数据集的颜色匹配任务设定推动了面向对象约束的策略优化方法，相关研究在仿真环境与真实机器人之间建立了更可靠的迁移学习范式。这些衍生工作共同拓宽了数据驱动机器人操作的研究边界。