HyeonseokE/SO101-teleop_stack_RGBblock_on_bluedish_20epi

该数据集是使用LeRobot创建的机器人数据集，专门用于机器人控制任务。数据集包含20个完整情节，总计12227帧数据，帧率为30fps。机器人类型为so_follower，特征包括6维动作空间（如肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置）和6维状态观测（与动作空间相同）。此外，提供来自左腕和顶部摄像头的图像观测，每帧图像分辨率为480x640像素，3通道RGB格式，视频编码为h264。数据集以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，并包含时间戳、帧索引、情节索引等元数据。license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: 默认 data_files: data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/SO101-teleop_stack_RGBblock_on_bluedish_20epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总回合数": 20, "总帧数": 12227, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:20" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征项": { "动作": { "数据类型": "float32", "维度名称": [ "肩部方位旋转关节位置（shoulder_pan.pos）", "肩部俯仰关节位置（shoulder_lift.pos）", "肘关节屈曲关节位置（elbow_flex.pos）", "腕关节屈曲关节位置（wrist_flex.pos）", "腕关节旋转关节位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [ 6 ] }, "观测.状态": { "数据类型": "float32", "维度名称": [ "肩部方位旋转关节位置（shoulder_pan.pos）", "肩部俯仰关节位置（shoulder_lift.pos）", "肘关节屈曲关节位置（elbow_flex.pos）", "腕关节屈曲关节位置（wrist_flex.pos）", "腕关节旋转关节位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [ 6 ] }, "观测.图像.左腕相机": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "h264", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "含音频": false } }, "观测.图像.顶置相机": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "h264", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null } } } ## 引用格式 **BibTeX 格式引用：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集通过遥操作（teleoperation）方式构建，借助LeRobot框架采集并组织数据。具体而言，操作者远程操控SO101型从属机械臂，执行将RGB彩色方块堆叠至蓝色托盘上的单一任务，共收集20个完整操作回合（episodes）。每个回合的数据以parquet格式存储，包含机械臂六个自由度的关节位置与夹爪状态，同时伴随左腕与顶部两个视角的同步视频流。数据集被分割为多个1000帧的块，便于高效加载与索引。

使用方法

用户可通过LeRobot数据集可视化界面直接预览数据。在使用时，推荐利用LeRobot的加载器读取parquet文件与视频，将动作、状态与图像序列对齐为时间序列。数据集已内置训练/测试划分（前20个回合均为训练集），可便捷地用于行为克隆或离线强化学习。此外，每帧的时间戳与回合索引字段支持自定义的序列切分与评估策略设计。

背景与挑战

背景概述

该数据集由HyeonseokE创建，依托于LeRobot框架，于近期发布，专注于机器人遥操作任务中的物体堆叠与操作。核心研究问题在于通过模仿学习，使机器人能够将从视觉传感器（如左手腕和顶部摄像头）获取的RGB图像与六维关节动作（肩部、肘部、腕部及夹爪）进行端到端映射，从而完成将RGB方块堆叠至蓝色碟盘上的精细操作。作为小样本机器人操作数据集的典型示例，其20个episode、12227帧的高频（30fps）记录为机器人学习领域提供了低成本、高精度的基准数据，尤其对零样本泛化与数据高效算法的发展具有重要推动作用。

当前挑战

该数据集所解决的领域问题核心在于机器人操作中的小样本学习与精细控制。机器人需从少量演示中提取可泛化的策略，以应对物体颜色、位置变化及光照干扰，这对现有模仿学习算法的鲁棒性提出严峻挑战。构建过程中，遥操作系统的时延补偿、相机标定误差以及夹爪抓取时的滑动均可能导致演示质量下降；同时，依赖单一任务（堆叠方块）与有限视角（顶部、左手腕）的数据分布可能引入偏差，限制了模型对非结构化环境的适应能力。此外，parquet与视频文件的联合存储格式对数据读取与异构同步提出额外工程需求。

常用场景

经典使用场景

SO101-teleop_stack_RGBblock_on_bluedish_20epi数据集专为机器人操作中的视觉伺服堆叠任务而设计，其核心场景是通过遥控操作（teleoperation）引导机械臂精准抓取红色方块并堆叠至蓝色碟盘之上。数据集包含20个完整回合、逾1.2万帧高保真观察数据，融合了双视角视频流（左腕摄像头与顶部全局视角）以及六维关节运动轨迹（涵盖肩部、肘部、腕部及夹爪自由度）。这一精细化的数据构型使其成为模仿学习与技能迁移研究的绝佳基石，尤其在需要空间推理与精细抓取控制的任务中展现出独特的价值。

解决学术问题

该数据集直接回应了机器人学习领域中长期存在的细粒度操作技能泛化难题。借助多模态感知信息（视觉与本体状态），研究者可系统性地探索如何从少量人类演示中提取可复用的堆叠策略，从而缓解传统强化学习在稀疏奖励场景下的采样效率困境。数据集提供的标准化回合结构还支持对行为克隆、逆强化学习及离线强化学习算法的公平比较。其意义在于将抽象的堆叠任务转化为可量化、可复现的基准，推动了对操作技能本质——即视觉注意力分配与关节空间协调性——的深入理解。

实际应用

在实际工业与生活场景中，该数据集所模拟的方块堆叠任务直接映射为仓储分拣与装配流水线上的关键环节。例如，机械臂需从传送带上识别并拾取特定颜色的零件，再将其精确放置于指定工位，这一过程对视觉伺服精度与抗干扰能力提出了严苛要求。该数据集提供了现成的训练素材，可赋能自动化系统学习鲁棒的抓取策略，以适应光照变化或零件错位的复杂环境。此外，借助数据集中的遥操作轨迹数据，工程师能够加速人机协作场景下“示教-再现”流程的部署，降低传统编程式机器人控制的开发成本。

数据集最近研究

最新研究方向

SO101-teleop_stack_RGBblock_on_bluedish_20epi数据集聚焦于机器人灵巧操作中基于遥操作的堆叠任务，具体涉及将RGB色块精准放置于蓝色盘面上的动作序列学习。该数据集以20个示范片段、超过1.2万帧的高频视觉与关节状态记录，为模仿学习与行为克隆提供了高质量的6自由度动作轨迹与多视角视觉观测（左腕及顶部相机）。在当前具身智能研究浪潮中，该数据集直接服务于从人类演示中提取精细操作策略的前沿方向，尤其适用于双臂或单臂机器人在非结构化环境中的泛化性研究。其与LeRobot生态的深度集成，推动了开源机器人学习基准的建立，使得小样本或少示范场景下的技能迁移成为可能，对降低机器人编程门槛、加速智能装配与家庭服务应用落地具有里程碑式意义。