HyeonseokE/SO101-teleop_sort_blocks_60epi

该数据集由LeRobot创建，用于机器人技术任务，具体涉及对积木进行排序的远程操作。数据集包含60个episodes，总计56553帧，帧率为30fps。数据以parquet格式存储，视频以mp4格式存储。特征包括动作（6个关节位置：肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）、观测状态（与动作相同的6个关节位置）、两个摄像头图像（手腕摄像头和顶部摄像头，分辨率均为480x640，3通道，视频编码为h264，像素格式为yuv420p）、时间戳、帧索引、episode索引、索引和任务索引。数据集结构支持训练分割，涵盖单个任务，总数据文件大小为100MB，视频文件大小为200MB。This dataset was created using LeRobot for robotics tasks, specifically involving teleoperation for sorting blocks. It contains 60 episodes, with a total of 56,553 frames at 30 fps. Data is stored in parquet format, and videos are in mp4 format. Features include action (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state (same 6 joint positions as action), two camera images (wrist and top cameras, both with resolution 480x640, 3 channels, video codec h264, pixel format yuv420p), timestamp, frame index, episode index, index, and task index. The dataset structure supports a train split, covers a single task, with total data file size of 100MB and video file size of 200MB.

搜集汇总

数据集介绍

构建方式

该数据集通过遥操作（teleoperation）方式构建，利用LeRobot框架采集机器人执行积木排序任务时的交互数据。数据采集使用SO-follower机械臂，共执行60个回合（episodes），累积56553帧，包含单一任务类型。每帧记录机械臂6个关节（如肩部、肘部、腕部及夹爪）的位置作为动作（action）和状态观测（observation.state），并同步采集腕部与顶部两个视角的640×480分辨率视频流，编码格式为H.264，帧率30 FPS。数据以Parquet格式存储于分块文件中，视频文件独立存放，便于高效加载。

特点

数据集的核心特征在于其多模态数据融合：同时提供低维的机器人关节状态序列和高维的视觉观测信息，为模仿学习等算法提供完整的输入输出对。60个回合虽规模有限，但持续约31分钟的操作数据足以捕捉积木排序任务中的关键动作模式。视频与状态数据的严格同步（每帧对应一个时间戳）保证了时序对齐精度。此外，动作与状态采用相同的6维空间定义，简化了策略学习的映射关系。数据集遵循Apache-2.0开源协议，且通过LeRobot工具链支持轻松的可视化与预处理。

使用方法

用户可通过LeRobot库直接加载该数据集用于机器人学习研究。默认配置下，所有60个回合均划分为训练集（无验证/测试划分）。典型使用流程包括：利用`lerobot.Dataset`接口读取Parquet文件中的动作和状态序列，同时按需解码视频帧以构建视觉-运动联合表示。适用于训练基于行为克隆或强化学习的策略，例如将当前状态与目标图像作为输入，预测下一时刻的动作。数据集也支持通过HuggingFace Spaces中的可视化工具在线浏览各回合的回放，便于定性评估数据质量。

背景与挑战

背景概述

在机器人操作领域，模仿学习通过从人类演示中学习策略，已成为实现灵巧操作的关键范式。SO101-teleop_sort_blocks_60epi数据集由HyeonseokE等人基于LeRobot框架创建，专注于积木分拣这一典型精细操作任务。该数据集包含60个示范回合，共计56553帧，由SO_Follower机器人通过遥操作采集，记录了6自由度关节动作、腕部及顶部视觉信息（640×480，30fps）。数据集为研究机器人从视觉-运动耦合中泛化操作技能提供了标准化基准，推动了具身智能中少样本模仿学习的发展。

当前挑战

该数据集所应对的领域核心挑战在于：如何使机器人从有限的演示中习得可泛化的精细操作策略，尤其在积木分拣任务中，面对物体形状、颜色与位置变化时保持鲁棒性。构建过程中的挑战包括：遥操作采集的精度与效率平衡——需保证每帧动作与视觉对齐的同步性；多视角视频（腕部与顶部）的实时编码与存储，60回合生成约300MB数据，对硬件资源提出要求；同时需确保数据标注的无偏性，避免末端执行器抖动或观察视角遮挡引入噪声影响学习效果。

常用场景

经典使用场景

SO101-teleop_sort_blocks_60epi数据集专为机器人操作技能学习而设计，其核心场景是通过遥控操作（teleoperation）收集的方块分拣任务数据。该数据集包含60个完整演示片段，每个片段记录了SO系列从动机器人（so_follower）在6自由度动作空间中的连续运动轨迹，包括肩部、肘部、腕部关节角度以及夹爪开合状态。同时，数据集提供了来自腕部和顶部两个视角的高清视频流（640×480分辨率，30帧/秒），为多模态模仿学习提供了丰富的感知输入。利用此类数据，研究者能够训练机器人从视觉观测中直接预测动作序列，实现从人类示范到自主操作的端到端行为克隆。

实际应用

实际应用中，该数据集直接服务于智能分拣和精密装配等工业场景。例如，物流仓储中的物品分类作业、电子元器件的有序排列等任务，均可借用此数据集预训练的策略模型快速部署。数据集中的顶部和腕部视觉流模拟了真实机器人工作台上的感知设置，使得训练出的控制策略能够应对杂乱环境和光照变化。此外，通过迁移学习，该数据集的运动模式可适配不同构型的机械臂，降低了定制化产线的开发成本。在服务机器人领域，它还能用于开发面向家庭物品归位的辅助操作技能，为人机协作任务的落地提供了可靠的数据支撑。

衍生相关工作

该数据集作为LeRobot生态系统的一部分，衍生出了一系列经典工作。其中，基于此数据集的模仿学习策略（如扩散策略、行为克隆与隐式行为克隆）被广泛用于验证新的机器人学习框架。例如，研究者利用该数据集的轨迹连续性特点，发展了时间序列增强和防抖优化技术。同时，多模态融合模型（如视觉-语言-动作联合训练）也常以该数据集的观测-动作对作为评测基准。在Sim-to-Real迁移领域，该数据集驱动的强化学习仿真环境（如MuJoCo场景）推动了域随机化方法在精细操作任务中的效果验证。这些衍生工作共同构成了从数据采集到算法落地的完整研究链条。