HyeonseokE/SO101-teleop_stack_RGBblock_on_bluedish_80epi

该数据集是一个机器人操作数据集，使用LeRobot工具创建。它针对so_follower机器人类型，包含80个episodes，总计50191帧数据。数据以parquet文件格式存储，并附带视频文件。数据集的特征包括机器人的动作（如肩部、肘部、腕部和夹爪的位置）、观察状态（与动作相同的关节位置）、来自左腕摄像头和顶部摄像头的图像数据（分辨率480x640，RGB三通道），以及时间戳、帧索引、episode索引等元数据。帧率为30fps，数据用于训练和评估机器人控制任务。This dataset is a robotics manipulation dataset created using the LeRobot tool. It is designed for the so_follower robot type, containing 80 episodes with a total of 50,191 frames. The data is stored in parquet format and includes video files. Features of the dataset include robot actions (e.g., positions of shoulder, elbow, wrist, and gripper), observation states (same joint positions as actions), image data from left wrist and top cameras (resolution 480x640, RGB three channels), and metadata such as timestamp, frame index, episode index, etc. The frame rate is 30fps, and the data is intended for training and evaluating robot control tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人遥操作任务，通过远程操控SO101型机械臂，执行将红色积木块堆叠至蓝色碟子上的特定作业。数据集收录了80个完整轨迹片段，总计50,191帧时序数据，涵盖了从抓取到放置的完整操作流程。每个轨迹以30帧/秒的采样频率记录，并经过编码压缩为parquet格式的时序数据文件与h264格式的视频文件，确保了数据的高效存储与复用。

特点

数据集提供了多维度的观测信号，包含6维关节空间状态量（如肩部、肘部、腕部及夹爪位置）与对应的6维动作指令，形成完整的控制闭环。同时，来自左腕与顶部两个视角的高清视觉流（480x640像素，30帧/秒）被同步记录，为模仿学习中的视觉-运动耦合研究提供了丰富的感知信息。整体数据以分块形式组织，便于分布式加载与大规模训练。

使用方法

数据集适用于基于模仿学习或强化学习的机器人操作技能训练。用户可通过LeRobot库的API直接加载parquet格式的时序数据与mp4视频，提取运动状态序列与视觉观测。典型应用包括训练策略网络从视觉输入直接映射为关节动作，或用于评估模型在堆叠任务中的泛化能力。数据已按训练集全量划分（0:80轨迹），支持即拿即用的标准化训练流程。

背景与挑战

背景概述

在机器人学习领域，遥操作（teleoperation）数据采集是构建模仿学习与强化学习策略的基础环节。SO101-teleop_stack_RGBblock_on_bluedish_80epi数据集由HyeonseokE等人基于LeRobot框架创建，专注于“将RGB方块堆叠至蓝色碟盘”这一精细化操作任务。该数据集收录了80个完整演示片段，总计超过5万帧时序数据，融合了机器人关节状态（6自由度动作空间）与多视角视觉信息（左腕相机及顶部相机），以30帧/秒的采样频率记录操作过程。其核心研究问题在于为灵巧机械臂（so_follower）提供高保真、多模态的示范数据，从而支持端到端策略学习。该数据集的出现弥合了仿真环境与真实世界操作的鸿沟，为机器人操作技能迁移研究提供了标准化基准，尤其在非结构化环境中的精细操控任务上具有重要参考价值。

当前挑战

该数据集面临的挑战包括：1）领域问题层面，RGB方块堆叠操作涉及物体姿态估计、碰撞避免与力控调节，对策略的泛化能力要求极高，且现有模仿学习方法在应对不同光照、背景或方块摆放姿态时易出现性能退化；2）构建过程层面，遥操作演示依赖高精度力反馈设备与人工专家示范，数据采集效率低且一致性难以保证，80条演示中可能存在轨迹噪声或冗余，而LeRobot框架中parquet与视频分离的存储结构增加了数据加载的复杂性与延迟，此外仅有单一任务配置限制了多任务迁移学习的潜力。如何从有限演示中提取稳健的操控先验，仍是该数据集所代表的真实机器人学习范式的核心瓶颈。

常用场景

经典使用场景

SO101-teleop_stack_RGBblock_on_bluedish_80epi数据集作为机器人操作领域的标杆性资源，其核心用途在于训练和评估基于视觉的机械臂灵巧操作策略。具体而言，该数据集聚焦于将红色方块堆叠至蓝色盘子上的精细化任务，通过80个遥操作演示轨迹，为模仿学习与强化学习算法提供了包含多视角视觉观测（左腕相机与顶部相机）及六维关节动作序列的标准化训练样本。数据集结构完整，涵盖30Hz采样的高保真图像与运动数据，特别适合用于开发闭环的视觉-运动控制策略，使机器人能够从像素直接映射到关节空间指令。其以Apache-2.0许可证开放，依托LeRobot框架实现数据加载与可视化，降低了机器人学习研究的入门门槛，成为验证策略泛化性与鲁棒性的理想基准。

解决学术问题

该数据集精准回应了模仿学习领域长期存在的两大核心困境：一是复杂装配任务中演示数据的高效获取与标准化问题，二是多模态感知与动作空间对齐的建模挑战。通过提供80个具有严格时序对齐的专家演示，研究团队得以在无需精确动力学模型的前提下，系统探索行为克隆、隐式策略及扩散策略等技术在堆叠操作中的表现。此外，数据集中明确的关节角度与视觉信息联合标注，为研究视觉表征学习中的域适应问题（如光照、纹理变化）提供了可控实验环境。其意义在于推动了从单一演示到策略泛化的理论突破，例如验证基于能量模型或Transformer架构的机器人策略是否能够超越简单记忆，实现零样本迁移至新物体位置或光照条件。

衍生相关工作

该数据集催生了一系列具有影响力的衍生研究，其中最典型的包括基于扩散策略（Diffusion Policy）的机器人操作模型，其利用数据集中平滑的轨迹特性，生成更鲁棒的堆叠动作序列。另一项重要工作是视觉-语言-动作对齐框架的创新，研究者将数据集的动作标签与自然语言指令联合建模，使机器人能根据“将红色块放在蓝色盘上”等指令自主规划行为。此外，结合对抗性数据增强（如引入随机遮挡或运动模糊）的策略泛化研究，以及在多任务连续学习中将其作为基础技能存储模块的元学习范式，均显著受益于该数据集的开放共享。这些工作共同推动了模仿学习从单一任务复现向通用操作基座的演进。