HyeonseokE/SO101-teleop_sort_blocks_80epi

该数据集是一个机器人操作数据集，使用LeRobot工具创建。它包含80个episodes，总计75565帧，帧率为30fps，专用于训练或评估机器人控制模型。数据集结构包括动作特征（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置），状态观测（与动作相同的关节位置），以及图像观测（来自手腕和顶部摄像头的视频，分辨率为480x640，3通道彩色视频，编码为h264）。此外，还包含时间戳、帧索引、episode索引、任务索引等元数据。数据以parquet文件格式存储，视频以mp4格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集适用于机器人学任务，特别是基于视觉的机器人操作。This dataset is a robotics manipulation dataset created using the LeRobot tool. It contains 80 episodes, totaling 75,565 frames at 30 fps, designed for training or evaluating robot control models. The dataset structure includes action features (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), state observations (joint positions identical to actions), and image observations (videos from wrist and top cameras, with a resolution of 480x640, 3-channel color video, encoded as h264). Additionally, it includes metadata such as timestamps, frame indices, episode indices, and task indices. The data is stored in parquet file format, with videos in mp4 format, totaling 100MB for data files and 200MB for video files. The dataset is suitable for robotics tasks, particularly vision-based robot manipulation.

搜集汇总

数据集介绍

构建方式

SO101-teleop_sort_blocks_80epi数据集基于LeRobot框架构建，涵盖了80个遥操作演示回合。每回合记录了机器人执行方块分类任务的完整过程，包括6维关节位置控制指令（如肩部、肘部、腕部及夹爪的运动）与对应的观测状态数据。数据以Parquet格式存储于分块文件中，同时以H.264编码的MP4视频保留了两个视角（腕部与俯视）的640×480像素图像流，帧率为30 FPS，总计75565帧。所有数据按1000帧分块组织，便于高效加载与处理。

特点

该数据集的核心在于其多模态与精密的特征设计。它同时提供了6维连续值动作序列、对应的机器人状态信息，以及高分辨率视频观测数据，为模仿学习算法提供了丰富的输入空间。数据集结构高度规范化，包含清晰的时序索引、帧索引与回合索引，且将全部80个回合作为训练集，统一的任务标记简化了模型训练流程。各特征维度命名直观，数据类型统一为float32或int64，方便与PyTorch、TensorFlow等主流深度学习框架无缝对接。

使用方法

使用该数据集时，可通过LeRobot库的接口直接加载Parquet与视频文件。用户能利用'episode_index'和'frame_index'字段灵活截取训练序列，或借助'observation.images'中的视觉数据联合'action'标签构建行为克隆或控制策略模型。数据预置了HuggingFace可视化工具，支持直接在线浏览样本内容。建议结合HuggingFace Datasets库进行数据分片与动态加载，利用Apache-2.0开源协议可自由用于学术研究与商业应用，需注意在发布成果时标注数据集来源。

背景与挑战

背景概述

该数据集由HyeonseokE等人于近期发布，基于LeRobot框架构建，聚焦于机器人遥操作任务中的积木排序问题。数据集涵盖了80个示范片段，包含75,565帧观测数据，记录了SO_Follower机械臂在30Hz频率下执行分类操作的完整过程。通过肩部、肘部、腕部及夹爪的多自由度运动轨迹，为机器人模仿学习与行为克隆提供了精细化的动作与状态标注。该数据集的出现填补了面向复杂操作技能迁移的小样本遥操作数据空白，为机器人领域研究者在精细化操作策略学习与泛化能力探索中奠定了重要基础。

当前挑战

核心领域挑战在于如何从有限的80个示范片段中学习鲁棒的积木排序策略，以应对物体位置随机分布与初始姿态差异带来的泛化难题。数据构建过程中，遥操作系统需解决高精度运动轨迹采集与多视角视觉观测同步对齐的技术困境，同时避免因夹爪力控不精确导致的物体脱手或倾覆现象。此外，数据规模较小易引发过拟合风险，且单一任务场景限制了模型向新环境与异形物体的迁移能力，亟待引入数据增强与跨任务预训练机制以突破性能瓶颈。

常用场景

经典使用场景

在机器人学习与操作领域，SO101-teleop_sort_blocks_80epi数据集通过遥操作采集了80个完整的机械臂分拣积木示范，为模仿学习提供了高保真的专家轨迹。该数据集包含75565帧时序数据，涵盖6维关节空间动作、腕部及顶部双视角视觉观测，支持从视觉与状态信息中学习精细化操作策略。研究者常将其作为基准，训练机械臂完成目标物体分类与空间排列任务，验证策略泛化性与鲁棒性。

实际应用

在实际工业与物流场景中，基于该数据集训练的模型可部署于柔性装配线的自动分拣系统，通过机械臂精准抓取、分类与码放异形零件。其双摄像头配置（顶视全局定位、腕视细节辨识）模拟了人机协作中的多模态感知范式，适配仓储分类、电子元件分选等任务。遥操作采集机制降低了现场编程成本，使得非专家用户也能快速定制分拣策略，提升生产线重构效率。

衍生相关工作

该数据集衍生出多项标志性工作：基于其示范轨迹的端到端视觉运动策略模型（如ACT、DP）展现了从像素到动作的零微调迁移能力；融合注意力机制的扩散策略借助其高帧率数据实现了动作序列的平滑生成。在分层强化学习框架中，该数据集被用作底层技能库的先验，支撑任务分解与组合泛化研究。此外，数据增强与仿真到现实迁移方法借助其多视角视频，探索了跨光照与背景的鲁棒操作策略。