HyeonseokE/SO101-cap_stack_RGBblock_on_bluedish_10fps_20epi

该数据集是一个机器人学数据集，使用LeRobot创建，专门针对so101_follower机器人类型。数据集包含20个episodes，总计17364帧数据，帧率为10fps。数据结构包括机器人状态观察（如关节位置、末端执行器位姿）、动作控制、图像观察（顶部和左腕摄像头视频，分辨率为480x640，RGB格式）、技能信息（如自然语言描述、验证问题、目标位置）和子任务信息（如对象名称、目标位置）。数据以parquet文件格式存储，视频以MP4格式存储，适用于机器人控制、模仿学习或强化学习任务。

This dataset is a robotics dataset created using LeRobot, specifically for the so101_follower robot type. It contains 20 episodes with a total of 17,364 frames at 10fps. The data structure includes robot state observations (e.g., joint positions, end-effector pose), action controls, image observations (top and left wrist camera videos at 480x640 resolution, RGB format), skill information (e.g., natural language descriptions, verification questions, goal positions), and subtask information (e.g., object names, target positions). Data is stored in parquet files and videos in MP4 format, suitable for robotics control, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务中的“堆叠彩色方块至蓝色托盘”场景。数据采集采用SO101跟随者机器人，在10帧每秒的采样频率下，共收集20个完整操作回合，总计17364帧图像与状态数据。每个回合记录了机器人从初始状态到完成任务的全过程，包括顶部摄像头和左腕摄像头的640×480分辨率视频流，以及6维关节状态与末端执行器位姿等连续数值型特征。数据以Parquet格式存储，视频经H.264编码压缩，并按照1000帧为单元进行分块管理，便于高效加载与分布式处理。

特点

数据集的核心特色在于其多模态异构数据融合与结构化任务标注。除了常规的关节位置、动作指令和视觉图像外，还提供了人类可读的自然语言技能描述（如“将红色方块堆叠到蓝色托盘上”）、验证问题、任务类型与进度标量，以及子任务级别的目标对象名称与三维空间坐标。这种层次化标注体系使得机器人既可从原始传感器数据中学习低层控制策略，也能理解高层语义指令。此外，20个回合的全部数据均作为训练集使用，无显式验证集划分，便于直接开展模仿学习实验。

使用方法

使用者可通过LeRobot库提供的可视化界面（Hugging Face Spaces）快速浏览数据集内容与机器人操作回放。在代码层面，推荐使用LeRobot的Dataset类加载Parquet文件与关联视频，通过迭代器访问每一帧的观测状态、动作指令和元数据。对于模仿学习或行为克隆任务，可将'observation.state'与'observation.images'作为模型输入，以'action'为监督目标进行训练。自然语言字段可用于多模态指令跟随模型的微调，而子任务目标位置则适合作为可泛化任务规划器的基准测试数据。数据集采用Apache 2.0许可，允许广泛的学术与商业使用。

背景与挑战

背景概述

SO101-cap_stack_RGBblock_on_bluedish_10fps_20epi数据集由HyeonseokE等人于近期创建，依托LeRobot开源框架，专注于机器人操作任务中的精细操控研究。该数据集以10帧每秒的采样频率记录了一台SO101型机器人执行“将彩色方块堆叠至蓝色托盘”这一特定任务的20个完整回合，总计包含17364帧图像与状态动作数据，覆盖了从视觉感知到关节控制的完整闭环。高质量的多模态信息——包括顶部与左腕摄像头提供的640×480 RGB图像、六维关节状态、末端执行器位姿及夹爪状态——使其成为训练机器人模仿学习与行为克隆模型的重要基准。该数据集的出现填补了在规则几何物体堆叠任务中标准化多模态数据资源的空白，为机器人在半结构化环境中执行精确抓取与放置操作的研究提供了可靠的实验平台。

当前挑战

该数据集致力于解决的领域问题是机器人精细操作任务中的状态表示与动作泛化难题，尤其在涉及多模态感知融合与高精度关节控制的堆叠场景中，模型需要从有限的演示中学习鲁棒的策略，以应对物体位置偏移、光照变化等环境干扰。构建过程中面临的挑战包括：确保20个回合内动作轨迹的多样性与可重复性，避免演示员操作习惯导致的偏差；精确同步来自两个视角的视觉流与关节状态数据，以保持10Hz帧率下时间戳的一致性；以及设计包含自然语言指令与子任务进展标记的结构化标注体系，用以支持多层级技能分解与任务进度追踪。这些挑战不仅关乎数据采集的物理可靠性，更直接影响下游模型对复杂操作意图的理解能力。

常用场景

经典使用场景

SO101-cap_stack_RGBblock_on_bluedish_10fps_20epi 数据集专为机械臂操控任务设计，聚焦于将彩色方块叠放在蓝色托盘上的精细操作。该数据集记录了SO101型机械臂在20个回合中、以10帧每秒的采样率采集的近17364帧视觉与状态数据，涵盖了肩部、肘部等6个关节的角度信息以及顶部和左腕的RGB图像。其经典应用在于为行为克隆与模仿学习算法提供标准化的训练基准，研究人员能够利用其中的观测-动作对训练机器人策略网络，实现从视觉输入到关节指令的直接映射。

实际应用

在实际部署层面，该数据集直接服务于工业与家庭场景中的自适应抓取与放置任务。通过利用其中包含的RGB图像与关节状态轨迹，开发者能够训练机械臂在非结构化环境中识别彩色目标物体并执行精准的叠放动作，例如在装配流水线上将不同颜色的工件码放至指定托盘。数据集的高质量视频流还支持视觉伺服控制器的校准，使机器人能够借助单目或腕部相机实时调整姿态，减少对传感器阵列的依赖，从而降低方案部署成本与调试时间。

衍生相关工作

本数据集的发布催生了一系列关于多任务泛化与技能层次化分解的研究工作。基于其内含的自然语言描述与子目标标注，后续经典工作如“Language-Conditioned Imitation Learning”利用该数据探索了将语言指令解耦为时序动作原语的方法，而“Progressive Neural Networks”则借助其中多条演示轨迹的共性结构，实现了跨不同初始布局的策略快速迁移。此外，该数据集还常作为基线验证工具，用于评估扩散策略与基于Transformer的决策模型在少样本场景下的复现性能。