HyeonseokE/SO101-cap_stack_RGBblock_on_bluedish_10fps_40epi

该数据集是一个用于机器人学任务的数据集，使用LeRobot创建。数据集包含40个总剧集、34780个总帧和1个总任务，帧率为10fps。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集结构丰富，包括观测状态（如机器人关节位置）、动作命令、图像观测（来自顶部和左腕摄像头的RGB视频，分辨率为480x640，帧率10fps）、末端执行器位置（XYZRPY坐标）、二进制夹爪状态、技能信息（自然语言描述、验证问题、技能类型、进度和目标位置）、子任务信息（自然语言描述、对象名称和目标位置），以及时间戳、帧索引、剧集索引等元数据。数据集专为训练和评估机器人控制模型设计，适用于模仿学习、强化学习等场景。This dataset is designed for robotics tasks and was created using LeRobot. It contains a total of 40 episodes, 34,780 frames, and 1 task, with a frame rate of 10fps. The data is stored in Parquet format, with a total data file size of 100MB and video file size of 200MB. The dataset features a rich structure, including observation states (such as robot joint positions), action commands, image observations (RGB videos from top and left wrist cameras, with a resolution of 480x640 and 10fps frame rate), end-effector positions (XYZRPY coordinates), binary gripper state, skill information (natural language descriptions, verification questions, skill types, progress, and goal positions), subtask information (natural language descriptions, object names, and target positions), as well as metadata like timestamps, frame indices, and episode indices. It is specifically designed for training and evaluating robot control models, suitable for scenarios such as imitation learning and reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-cap_stack_RGBblock_on_bluedish_10fps_40epi数据集基于LeRobot框架构建，专注于机器人操作任务。其采集过程使用so101_follower型机器人，在固定场景中执行将彩色方块堆叠至蓝色托盘上的重复操作。数据集包含40个完整演示回合（episode），总计34780帧数据，以10帧/秒的采样率记录。每帧数据通过多模态感知通道存储：包括来自顶部和左腕摄像头的640×480分辨率视频流，机器人六轴关节状态（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll及夹爪位置），以及末端执行器的六维位姿（xyz坐标与roll-pitch-yaw角度）。数据以Parquet格式分块存储（每块1000帧），视频以H.264编码的MP4文件独立保存，并附有info.json元文件描述完整结构。

特点

该数据集的核心特点在于其精细化的任务标注体系与多级语义信息融合。除标准的状态-动作对（6维关节位置指令）外，每个时间步还关联了自然语言描述的技能（skill）与子任务（subtask）标签，例如将“堆叠方块”这一宏观任务拆解为“抓取”“移动”“释放”等可执行子目标。技能层级包含进度百分比、验证问题及目标关节位姿，而子任务层则标注了操作对象名称与三维目标位置。这种结构化标签使得数据集不仅支持行为克隆（Behavior Cloning）的端到端学习，还能用于分层强化学习或语言条件策略的训练。此外，所有数据保持10Hz的固定帧率，场景光照与视角一致，便于算法复现与对比。

使用方法

使用该数据集时，推荐通过HuggingFace的LeRobot库进行加载与预处理。用户可直接调用lerobot.datasets的接口，根据'default'配置自动识别data目录下的Parquet分块文件与对应视频。训练集默认覆盖全部40个回合（split为'train'），无需手动划分。典型利用方式包括：提取'observation.state'和'observation.images'作为模型输入，以'action'为回归目标训练机器人视觉运动策略；或利用'skill.goal_position'与'subtask.natural_language'构建语言驱动的任务规划器。为加速数据读取，建议将视频帧预解码为张量并缓存，同时利用'chunks_size'参数控制批处理粒度。数据集已提供可视化接口（通过HuggingFace Spaces），可直接在线浏览各回合的演示轨迹。

背景与挑战

背景概述

SO101-cap_stack_RGBblock_on_bluedish_10fps_40epi数据集诞生于机器人学习领域对精细操作与视觉-运动联合建模日益增长的需求之中。该数据集由HyeonseokE等人依托LeRobot框架创建，核心研究问题聚焦于让SO101型机器人完成“将彩色积木堆叠至蓝色托盘”这一具身智能任务。通过采集40个回合、共计34780帧的高质量数据，包括6维关节状态、6自由度末端位姿、顶部与左手腕双视角视频流（640×480分辨率、10帧/秒），以及自然语言指令与子任务标注，该数据集为模仿学习与行为克隆提供了丰富的多模态训练样本。其影响力体现在推动机器人技能获取从单一感知向语言引导、视觉-运动联合建模的范式转变，尤其为基于Transformer的端到端策略学习提供了标准化评估基准。

当前挑战

该数据集所解决的领域问题核心在于机器人精细化操作中的视觉-运动协同难题。具体而言，彩色积木堆叠任务需模型同时理解物体属性（颜色、形状）、空间关系（相对位置、姿态）与抓取策略，对视觉编码器与运动策略的联合学习提出极高要求。构建过程中的挑战同样显著：首先，多传感器数据（两个摄像头、关节编码器、力传感器）的时空对齐精度直接影响样本有效性，需要精确的硬件同步方案；其次，40个回合中需保证任务场景的物理一致性（光照、托盘位置、积木初始状态），避免引入无关变量；最后，自然语言指令与子任务标注的语义歧义性（如“蓝色”与“蓝绿色”）要求设计严谨的标注规范，确保技能序列的可复现性。

常用场景

经典使用场景

SO101-cap_stack_RGBblock_on_bluedish_10fps_40epi数据集专为机器人操控任务设计，其核心应用场景聚焦于精细化抓取与堆叠操作。该数据集记录了SO101型机械臂在固定工作台上执行RGB彩色方块堆叠至蓝色托盘的全过程，包含40个演示片段、近3.5万帧时序数据，以10帧/秒的采样频率同步采集多视角视觉图像（顶部与左腕相机）、关节角度状态、末端执行器位姿及夹爪二进制状态。这些多模态信息为模仿学习与强化学习算法提供了完备的训练素材，研究者可基于此训练机器人完成从视觉感知到动作执行的端到端策略，尤其适用于实际生产环境中对透明、反光或颜色敏感物体的精密装配任务。

实际应用

在工业与物流自动化领域，该数据集所驱动的模型可直接部署于分拣、组装与包装环节。例如，经过该数据集训练的机器人能够从杂乱的零件箱中识别特定颜色的RGB方块，并将其精确堆叠至指定托盘位置，这一能力与电子元件装配、食品分装乃至医疗器材包装高度契合。数据集包含的末端执行器力位混合控制数据，进一步支持了动态环境中的自适应抓手调整技术，如缓冲泡沫或易碎物品的安全处理。此外，其配备的验证问题与自然语言指令标注，为人机协作场景下的语音引导操作奠定了基础，使机器人能够理解诸如“将红色方块放在蓝色托盘上”的临时指令并执行。

衍生相关工作

基于该数据集的雏形，衍生出多项具有影响力的研究工作。其中，基于扩散策略的机器人操控模型通过该数据集的高频时序图像与动作序列，成功实现了多步堆叠任务的动作序列预测；同时，语言条件模仿学习方法利用数据集中丰富的子任务标注，构建了能够通过自然语言组合新技能的机器人系统。此外，还有研究在此基础上探索了跨任务表示学习，通过共享状态特征来提升数据利用率。值得注意的是，该数据集的结构化注释体系直接启发了LeRobot生态系统中更复杂的长尾任务数据集构建范式，例如多物品分类抓取与动态托盘切换场景，为通用机器人基座模型的训练提供了可扩展的数据引擎。