HyeonseokE/SO101-teleop_stack_RGBblock_on_bluedish_40epi

该数据集是一个机器人学数据集，使用LeRobot创建。它包含40个episodes，总计24949帧，涉及一个任务。数据以parquet文件格式存储，视频以mp4格式存储。特征包括动作（6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观察状态（同样6个关节位置）、两个摄像头图像（左腕摄像头和顶部摄像头，分辨率均为480x640，30fps，RGB格式），以及其他元数据如时间戳、帧索引、episode索引等。机器人类型为“so_follower”，可能用于跟随任务或相关机器人控制研究。数据集结构包括训练分割（所有episodes），数据文件总大小为100MB，视频文件总大小为200MB。

This dataset is a robotics dataset created using LeRobot. It contains 40 episodes, totaling 24,949 frames, and involves one task. The data is stored in parquet files, and videos are stored in mp4 format. Features include actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation states (same 6 joint positions), two camera images (left wrist and top cameras, both with 480x640 resolution, 30fps, RGB format), and other metadata such as timestamp, frame index, episode index, etc. The robot type is so_follower, likely used for follower tasks or related robotics control research. The dataset structure includes a training split (all episodes), with a total data file size of 100MB and total video file size of 200MB.

搜集汇总

数据集介绍

构建方式

该数据集通过遥操作（Teleoperation）方式构建，基于 SO101 型跟随机器人（so_follower）采集人类演示数据。数据集共包含 40 个操作片段（episode），总计 24,949 帧，帧率为 30 FPS，所有数据均划分为训练集。数据以 Parquet 格式存储，视频文件采用 H.264 编码的 MP4 格式，图像分辨率为 480×640。数据集的构建遵循 LeRobot 框架标准，通过 chunk 分块组织，便于大规模存储与加载。

特点

数据集聚焦单一任务：将红色积木块（RGB block）堆叠至蓝色碟子（blue dish）上。每个片段记录 6 维关节动作（肩、肘、腕、夹爪等）与对应状态，并同步采集来自左腕与顶部两个视角的 RGB 视频流，形成多模态观测。动作与状态空间维度一致，支持状态-动作对的直接学习。数据集结构完整，包含时间戳、帧索引等元信息，适用于模仿学习中的行为克隆与策略评估。

使用方法

数据集可借助 LeRobot 工具库直接加载与可视化，用户可通过 Hugging Face 提供的交互式可视化空间预览数据。使用 LeRobot 的 DataLoader 模块能够按片段索引高效读取 Parquet 数据与关联视频，并支持自定义训练/验证划分。建议在模仿学习任务中，将动作作为目标变量、图像与状态作为输入特征，训练端到端策略网络。数据集采用 Apache-2.0 许可证，允许自由使用与修改。

背景与挑战

背景概述

该数据集名为SO101-teleop_stack_RGBblock_on_bluedish_40epi，由研究者HyeonseokE基于LeRobot框架创建，聚焦于机器人操作领域中的堆叠任务。其核心研究问题是让机器人通过遥操作学习将RGB色块精确堆叠到蓝色盘子中，旨在为模仿学习和策略泛化提供高保真的运动与视觉数据。数据集包含40个演示轨迹，总帧数近2.5万帧，由一款SO-Follower机器人以30帧/秒的速率采集，动作空间涵盖六自由度关节位置，并辅以左腕与顶部双视角高清视频。在机器人学习社区中，此类精细化的桌面操作数据集为验证深度模仿学习算法、推动技能迁移研究提供了标准化基准。

当前挑战

该数据集主要应对以下挑战。领域方面，机器人堆叠任务要求机械臂在连续的物理空间中完成精确的拾取与放置，这涉及对视觉反馈的实时解析、动态力度的控制以及多指夹爪的稳定配合，远超传统图像分类问题的复杂性。构建层面，遥操作数据采集的瓶颈在于确保演示动作的精准性与自然性，实验者需克服远程操控中的延迟与认知负荷；此外，单任务、单一刚体堆叠的设定限制了数据的多样性，40个回合的样本量在应对光照变化、物体偏移等真实场景扰动时仍显不足，对训练策略的鲁棒性提出了严苛考验。

常用场景

经典使用场景

在机器人操作技能学习的研究浪潮中，SO101-teleop_stack_RGBblock_on_bluedish_40epi数据集为模仿学习与行为克隆提供了宝贵的训练资源。该数据集记录了SO-100遥操作机器臂将红色方块堆叠至蓝色碟子上的精细操作过程，包含40个完整回合、近25,000帧数据，并以30帧/秒的高采样率捕捉动作序列与视觉反馈。研究者可利用其六维关节空间的动作指令和状态观测，结合顶部与左腕相机提供的RGB图像，构建端到端的视觉运动策略。这一设定使得数据集成为验证深度学习模型在精密积木堆叠任务中泛化能力的经典基准。

实际应用

在实际部署层面，该数据集为工业与家政服务机器人的技能习得开辟了捷径。经过在红色方块堆叠任务上训练的视觉运动策略，可直接迁移至拾放、组装等类人操作场景，减少了对传统预设程序的重写需求。例如，基于该数据集开发的模型可装备至协作机器人，在柔性生产线上实现抓取-堆叠的实时控制，或在家庭环境中完成物品归位等辅助任务。此外，数据集内的遥操作映射模式为远程医疗与危险环境作业的机器人控制方案提供了验证基础，展现了从数据收集到应用落地的完整链路。

衍生相关工作

作为LeRobot生态下的标准化数据集，它衍生出多项开创性研究。一方面，研究者基于其多视角图像与动作序列，开发了对比学习与因果推断相结合的状态解耦模型，提升了策略对视觉干扰的鲁棒性。另一方面，该数据集启发了针对小样本模仿学习的数据增强方法，例如通过时序对齐与动作插值构建虚拟轨迹。此外，相关工作利用其重复性演示分析了专家行为的潜在变异性，进而提出熵正则化的策略优化框架。这些衍生工作共同完善了面向精密操控的数据驱动方法论体系。