bjahoor/so101_yellow_block

该数据集是使用LeRobot创建的，专门用于机器人技术任务。数据集包含100个episodes，总计52359帧，帧率为30fps。机器人类型为so_follower。数据特征包括动作（6维浮点数，控制肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）、状态观测（与动作相同的6维浮点数）、图像观测（包括手腕视角和头顶视角的视频，分辨率为480x640，3通道，使用h264编码，无音频）、时间戳、帧索引、episode索引、索引和任务索引。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集分为训练集，涵盖所有episodes。This dataset was created using LeRobot and is designed for robotics tasks. It contains 100 episodes with a total of 52,359 frames at 30 fps. The robot type is so_follower. Features include actions (6-dimensional float32, controlling shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (6-dimensional float32, same as actions), image observations (videos from wrist and overhead perspectives, resolution 480x640, 3 channels, h264 codec, no audio), timestamps, frame indices, episode indices, indices, and task indices. Data is stored in parquet format, with total data file size of 100MB and video file size of 200MB. The dataset is split into a training set covering all episodes.

搜集汇总

数据集介绍

构建方式

so101_yellow_block数据集基于LeRobot框架构建，专为机器人操作任务设计。数据采集自so_follower型机器人，通过执行“黄色方块”单一任务，共记录100个操作回合，累计52359帧数据。数据以分块形式存储，采用Parquet格式保存动作和状态序列，同时以H.264编码的MP4视频记录腕部和顶部两个视角的视觉信息，确保了多模态数据的完整性与可复现性。

特点

该数据集以高频率（30帧/秒）和高分辨率（640×480像素）捕捉机器人操作细节，包含6维关节位置指令（动作）与观测状态，以及两个视角的视觉数据。总数据文件约100MB，视频文件约200MB，训练集覆盖全部100个回合，结构紧凑且易于扩展。其特色在于统一的数据格式与元信息规范，支持高效的序列化存储与回放。

使用方法

数据集适用于模仿学习与离线强化学习研究。用户可通过LeRobot库加载数据，利用内置的可视化工具在Hugging Face Spaces中预览操作片段。数据包含明确的特征字段，如动作、状态、图像和时间戳，便于构建策略模型。训练时可直接读取Parquet文件，并结合视频帧进行端到端训练，或提取特征进行运动规划分析。

背景与挑战

背景概述

在机器人学习领域，模仿学习（Imitation Learning）作为实现复杂技能获取的关键范式，高度依赖于高质量、多模态的演示数据集。so101_yellow_block数据集由研究团队利用LeRobot框架构建，旨在为机器人操作任务提供标准化训练资源。该数据集聚焦于单一但明确的拾取与放置任务，涉及机械臂对特定黄色方块的操作，通过SO-100型从动机械臂采集了100个演示片段，共计超过50,000帧的序列数据。数据采集过程中整合了腕部与顶部的双视角视觉信息，以及六自由度的关节动作状态，为机器人从视觉输入到运动控制的端到端学习提供了坚实基础。该数据集的发布显著推动了机器人操作领域中数据驱动方法的可复现性与基准测试能力，成为小样本模仿学习与迁移学习研究的重要参考资源。

当前挑战

该数据集所应对的核心领域挑战在于如何通过有限且结构化的演示数据，使机器人学会在非结构化环境中执行精准的抓取与放置操作，尤其关注从高维视觉观测中提取有效运动控制策略。构建过程中面临的主要挑战包括：其一，确保演示动作的一致性与可复现性，100个演示片段虽规模有限，但需覆盖多种初始物体位置与姿态变体；其二，多模态数据同步问题，需精确对齐30帧每秒的视觉流与机械臂关节状态序列，以避免时序偏差引发策略学习失真；其三，数据质量保障，包括腕部与顶部摄像头视角的无遮挡覆盖、运动轨迹的平滑性控制，以及状态空间与动作空间的一一映射，确保模型能够学习到稳定且通用的操作策略。

常用场景

经典使用场景

so101_yellow_block数据集是面向机器人操作领域精心构建的高质量示范数据集，专注于单任务精细操控场景。该数据集收录了100条完整示范片段，共计超过5.2万帧时序数据，涵盖SO_Follower机械臂在搬运黄色积木任务中的6维关节动作指令与状态观测。每条示范均同步记录了腕部与俯视视角的同步视频流，为模仿学习与行为克隆算法提供了丰富的视觉-运动联合信号。该数据集以LeRobot框架为标准规范，采用1000帧分块存储策略，便于大规模分布式训练与实时数据加载。研究者可直接利用该数据集的30Hz高采样率时序信息，训练端到端机器人操控策略，探索从视觉感知到电机控制的直接映射关系。

衍生相关工作

该数据集已催生了一系列富有影响力的衍生研究。基于LeRobot生态系统，研究者利用该数据开发了多种示范驱动策略，包括基于扩散策略的机器人动作生成、隐式行为克隆框架以及视觉-语言-动作联合模型。在表征学习领域，so101_yellow_block被用作标准测评集，验证了对比学习与掩码自编码等自监督方法在机器人状态表征抽取中的有效性。该数据集还为机器人安全操控研究提供了测试床，相关工作探索了如何利用示范中的轨迹分布训练不确定性感知的鲁棒控制器。此外，该数据与LeRobot平台中的其他机械臂数据形成互补，推动了跨形态迁移学习研究，验证了从固定臂操控到移动操作平台的任务知识泛化能力。

数据集最近研究

最新研究方向

在机器人学习领域，so101_yellow_block数据集作为基于LeRobot框架构建的高保真操作任务数据集，正被广泛应用于模仿学习与行为克隆的前沿探索。该数据集聚焦于单任务（黄色方块抓取）的精细操控，通过100个示范回合、五万余帧的时序数据，结合六自由度关节状态与多视角视觉输入（腕部及俯视摄像头），为训练机器人从视觉到动作的端到端映射提供了高质量闭环样本。当前研究热点集中于利用此类细粒度数据集提升策略泛化能力，例如结合扩散策略或Transformer架构进行跨任务迁移学习，以及探索示范数据质量对机器人技能习得效率的影响。该数据集的公开推动了开放机器人数据生态的构建，使得低成本、可复现的桌面级机器人学习实验成为可能，对于解决实际场景中少样本与数据稀缺难题具有里程碑意义。