HyeonseokE/SO101-cap_stack_RGBblock_on_bluedish_10fps_60epi

该数据集是一个机器人操作数据集，使用LeRobot工具创建。它包含SO101机器人（follower类型）在执行任务时的观测和动作数据。数据集由60个episodes组成，总计52189帧，帧率为10fps。观测数据包括机器人关节状态（6个浮点数）、来自顶部和左腕摄像头的图像（分辨率480x640，RGB格式）、末端执行器位置（XYZRPY坐标）、二值化夹爪状态等。动作数据为6维关节位置控制。此外，数据集还提供了技能和子任务的自然语言描述、验证问题、类型、进度、目标位置等信息，以及时间戳、帧索引、episode索引等元数据。数据集结构以parquet文件存储，总数据文件大小为100MB，视频文件大小为200MB，适用于机器人学习任务，如模仿学习或强化学习。This dataset is a robotics manipulation dataset created using the LeRobot tool. It contains observation and action data from an SO101 robot (follower type) performing tasks. The dataset consists of 60 episodes, totaling 52,189 frames at 10 fps. Observations include robot joint states (6 floats), images from top and left wrist cameras (resolution 480x640, RGB format), end-effector positions (XYZRPY coordinates), binarized gripper states, etc. Actions are 6-dimensional joint position controls. Additionally, the dataset provides natural language descriptions of skills and subtasks, verification questions, types, progress, goal positions, along with metadata such as timestamps, frame indices, and episode indices. The dataset is stored in parquet files, with a total data file size of 100 MB and video file size of 200 MB, suitable for robotics learning tasks like imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专注于机器人操作领域的技能学习。数据采集使用SO101型跟随机器人，在特定场景中执行将RGB彩色方块堆叠至蓝色托盘的任务。共计收集60个演示片段（episodes），总帧数达52189帧，以每秒10帧的频率采样。数据以分块形式存储，每个块包含1000帧，采用Parquet格式保存结构化数据，视频则编码为H.264格式的MP4文件，从而在保证数据完整性的同时实现高效的存储与访问。

使用方法

数据集可通过LeRobot库直接加载与可视化。使用时，用户需依赖LeRobot的数据处理模块，通过指定配置读取Parquet文件和视频流。数据中已预定义训练集（60个片段），适用于离线模仿学习或强化学习算法的训练与评估。此外，丰富的语义字段（如任务语言指令和子目标坐标）支持研究者开展多任务学习、零样本泛化及技能链推理等高级应用，是机器人操作领域基准测试与算法开发的宝贵资源。

背景与挑战

背景概述

SO101-cap_stack_RGBblock_on_bluedish_10fps_60epi数据集由HyeonseokE等人于近年创建，依托于LeRobot开源机器人学习框架，专注于解决精细操作任务中的模仿学习与技能迁移问题。该数据集以SO101型机械臂为载体，采集了60个回合的叠放彩色方块于蓝色托盘之上的操作数据，涵盖10帧/秒的高频状态与视觉信息，包括关节角度、末端执行器位姿及多视角图像。其核心研究问题在于如何通过多模态数据驱动机器人学习复杂的物体操纵策略，特别是基于视觉反馈的精准抓取与放置任务。作为机器人学习领域的高质量基准数据，该数据集为后续研究提供了规范的性能度量标准，推动了模仿学习在现实环境中的应用，并促进了LeRobot生态系统中数据共享与算法验证的标准化进程。

当前挑战

该数据集所面对的领域挑战在于如何实现机器人对精细操作任务的高效模仿学习，具体表现为从高维视觉与状态空间中提取有效特征，以泛化至未见过的物体位姿与光照条件。构建过程中面临的挑战包括：数据采集时需保持多视角摄像头的同步校准与高精度关节编码器的一致性，以减少模态间的时序偏移；录制60个回合的演示需重复精确的初始位姿与操作流程，以控制任务变异性；此外，针对遮挡与反光等视觉干扰，需确保图像质量与动作标签的准确性，避免噪声影响策略学习。数据集通过标注子任务语言描述与目标位置信息，为挑战性任务的分层分解提供了基础，但如何平衡数据规模与采集成本仍是关键难题。

常用场景

经典使用场景

在机器人学习与操控领域，该数据集为模仿学习与行为克隆算法提供了宝贵的训练素材。它记录了SO101型机械臂执行精密堆叠任务的完整过程，涵盖从抓取RGB模块到放置于蓝色托盘之上的连续动作序列，以每秒10帧的采样频率捕捉了60个演示回合。研究人员可借助这些带有时间戳的状态-动作对与多视角视觉观测，训练机器人掌握复杂的抓取与放置技能。

解决学术问题

该数据集有效支撑了机器人技能泛化与多模态融合学习的研究。通过提供结构化的关节角状态、末端执行器位姿、深度图像及语言指令等多维信息，它为解决机器人操作中的领域随机化、少样本学习与任务理解等核心学术难题提供了标准化基准。其精细标注的子任务目标与验证问题还促进了具身智能中分层任务规划与因果推理能力的探索。

实际应用

在实际应用中，该数据集可用于开发工业与家庭场景下的柔性自动化解决方案。例如，通过学习其中的堆叠策略，机械臂能够自适应地处理不同颜色、位置的物体，为电子元件装配、仓储拣选或服务机器人整理物品等任务提供迁移学习基础。其兼容LeRobot框架的特性降低了从仿真到现实部署的门槛。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作技能的细粒度学习，尤其是面向堆叠彩色方块至蓝色托盘这一具体任务场景。结合LeRobot框架的标准化数据格式，数据集以10帧/秒的采样率收录了60个完整回合（episode），共计超过5.2万帧的高清视觉与多模态状态-动作序列。当前前沿研究方向包括基于语言引导的子任务分解与技能泛化，其中数据集内嵌的自然语言描述、验证问题与进度标记（skill.progress）为构建可解释的、语义强化的模仿学习系统提供了关键基础。此外，数据集同时包含关节空间与末端执行器姿态的双重观测，契合了近期机器人领域对隐式策略表示与运动基元（movement primitives）跨场景迁移的研究热潮，对于推动机器人在非结构化环境中的精准操控与零样本泛化具有显著意义。