HyeonseokE/SO101-cap_stack_RGBblock_on_bluedish_10fps_80epi

该数据集使用LeRobot创建，是一个机器人操作数据集，专门针对SO101跟随者机器人类型。数据集包含80个完整片段（episodes），总计69,622帧，以10帧每秒（fps）的速率采集。数据以Parquet格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。数据集特征包括：机器人状态观测（如关节位置）、动作命令、来自顶部和左腕摄像头的图像观测（480x640分辨率，RGB视频）、末端执行器位置（XYZRPY坐标）、夹爪二进制状态、技能相关信息（如自然语言描述、验证问题、目标位置）、子任务信息（如对象名称、目标位置），以及时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习和控制任务，支持训练分割（所有episodes用于训练）。This dataset was created using LeRobot and is a robotics manipulation dataset specifically for the SO101 follower robot type. It contains 80 total episodes with 69,622 total frames, collected at 10 frames per second (fps). The data is stored in Parquet format, with a total data file size of 100 MB and video file size of 200 MB. Dataset features include: robot state observations (e.g., joint positions), action commands, image observations from top and left wrist cameras (480x640 resolution, RGB video), end-effector positions (XYZRPY coordinates), gripper binary state, skill-related information (e.g., natural language descriptions, verification questions, goal positions), subtask information (e.g., object names, target positions), and metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning and control tasks, with a training split (all episodes used for training).

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的模仿学习。通过so101_follower型机器人平台，在固定场景（蓝色托盘上叠放RGB块）中采集了80个示范回合，总帧数达69,622帧。数据以10帧/秒的采样率记录，并划分为单一训练集（0:80）。每个回合包含多模态信息：6维关节状态（肩部、肘部、腕部及夹爪位置）、6维动作指令、末端执行器位姿（xyzrpy）、夹爪二进制状态，以及来自顶部和左手腕的双路640×480像素RGB视频流。数据以parquet格式存储数值型字段，视频采用H.264编码压缩，整体结构化归档于分块文件中。

特点

此数据集的核心特色在于其丰富的语义标注层次。除基础的运动学数据外，每个样本关联了自然语言描述的子任务与技能（如叠放操作），并附有验证问题、类型标签及进度指示。技能目标以关节空间和笛卡尔空间双重形式记录，支持多层级规划。数据集还包含子目标的空间位置（xyz坐标）和对象名称，为语言引导的机器人操作提供了细粒度对齐。80个回合的适中规模与10fps的低频采样，平衡了数据多样性与存储效率，适合迁移学习与策略泛化性验证。

使用方法

用户可通过LeRobot工具链便捷调用，借助HuggingFace提供的可视化界面直接预览数据集内容。数据加载时，推荐使用lerobot.datasets模块读取parquet文件和同步视频流，其中state和action字段均为6维浮点向量，可直接用于训练端到端策略。为适应模仿学习，需将图像序列（shape: 480×640×3）与状态时序对齐，并利用chunks_size（1000帧/块）参数分批次处理。技能标注字段（如skill.natural_language）可辅助多任务分层学习，而frame_index和episode_index索引便于轨迹重组与回合分割。

背景与挑战

背景概述

该数据集由HyeonseokE等人于近期创建，依托LeRobot框架采集，聚焦于机器人精细操作领域中的物品堆叠任务。核心研究问题在于如何通过多模态观测数据（包括视觉图像与关节状态信息）训练机器人完成将彩色方块精确放置于蓝色碟盘上的操作。数据集包含80个演示片段，总帧数近七万，以10帧/秒速率记录，涵盖了六自由度关节角度、末端执行器位姿、夹爪状态以及顶部和腕部相机图像，为模仿学习与示教学习提供了高质量基准。其贡献在于为机器人技能迁移与泛化研究提供了结构化、多模态的示范数据，尤其适用于在受限场景下探索精密集成了任务的策略学习。

当前挑战

所解决的领域问题在于实现机器人对微小物体的精确抓取与放置，这要求算法能从高维视觉与低维状态融合表示中提取鲁棒的空间与运动特征。构建过程中的主要挑战包括：确保80个演示片段在相同任务下具有足够的动作多样性以避免策略过拟合；多传感器数据（相机与编码器）的时空同步精度直接影响了学习效果；此外，在10帧/秒的低采样率下保持对快速操作动作的完整捕捉，以及三维空间坐标与图像像素的准确对应关系标注，均是制约数据集质量的关键瓶颈。

常用场景

经典使用场景

SO101-cap_stack_RGBblock_on_bluedish_10fps_80epi数据集专为机器人操作技能学习而构建，其经典使用场景聚焦于模仿学习与行为克隆任务。该数据集通过录制备有六自由度机械臂（SO101）在蓝色托盘上堆叠RGB彩色积木的80个完整演示片段，并以10帧每秒的采样率同步采集顶部与左手腕摄像头图像、关节状态、末端执行器位姿及夹爪状态等多模态信息。研究者借助这些高保真的示教数据，能够训练机器人模型精确复现堆叠动作，尤其适用于从像素到动作的端到端策略学习，为复杂精细的桌面操作任务提供丰富的训练样本。

解决学术问题

该数据集系统性地回应了机器人学习领域中数据稀缺与多模态融合两大顽疾。一方面，其提供的80个高质量演示片段为小样本模仿学习提供了基准，有助于探索如何从有限示教中泛化至新场景；另一方面，数据集嵌入的自然语言指令与子任务元数据，使得学者能够研究语言引导的机器人任务分解，打通语义理解与底层运动控制之间的鸿沟。此类工作对于推动少样本技能获取、跨任务迁移以及可解释性策略生成具有深刻的学术价值，为构建更具通用性的机器人学习框架奠定了关键的基础数据支撑。

衍生相关工作

该数据集衍生了多项具有影响力的研究工作，尤其在行为克隆与分层强化学习的交叉领域。基于此数据，研究人员开发了融合视觉与本体感知的多模态策略网络，并通过对比实验验证了数据增强对位移泛化能力的提升。此外，数据集中的子任务标签催生了技能组合学习的工作，使机器人能够将堆叠动作拆解为抓取、放置等原子技能并动态编排。这些工作不仅推动了LeRobot生态中预训练模型的发展，也启示了后续研究在自监督表示学习和数据高效模仿学习上的深入探索，成为连接原始示教数据与高端算法设计的重要桥梁。