so101_teleop_private

该数据集由LeRobot创建，专注于机器人学领域。数据集包含22个任务片段，总计38321帧数据，帧率为30fps。数据以.parquet格式存储，视频文件以.mp4格式存储。数据集的主要特征包括动作（action）、观测状态（observation.state）、观测图像（observation.images.front）等，其中动作和观测状态均为6维浮点数组，分别对应机器人的各个关节位置。观测图像为480x640x3的视频帧，采用AV1编码。数据集还包含时间戳（timestamp）、帧索引（frame_index）、任务索引（task_index）等辅助信息。数据集适用于机器人控制、行为学习等任务。

This dataset was created by LeRobot, focusing on the field of robotics. It contains 22 task segments, totaling 38,321 frames at a frame rate of 30 fps. The core data is stored in .parquet format, while the video files are saved in .mp4 format. The main features of the dataset include action, observation.state, observation.images.front, among others. Both the action and observation.state are 6-dimensional floating-point arrays, which respectively correspond to the joint positions of the robot. The observation images are 480×640×3 video frames encoded with the AV1 codec. The dataset also includes auxiliary information such as timestamp, frame_index, task_index, and other auxiliary metadata. This dataset is applicable to tasks such as robot control and behavior learning.

原始信息汇总

基于您提供的数据集详情页面内容，以下是该数据集的关键信息总结。

数据集概述

基本信息

• 名称: so101_teleop_private
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 创建工具: LeRobot

数据集规模

• 总片段数: 33
• 总帧数: 23,886
• 总任务数: 1
• 帧率 (FPS): 30
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据拆分

• 训练集: 片段 0 到 32（总共33个片段）

机器人类型

• 机器人类型: so_follower

数据集特征

该数据集包含以下特征字段：

特征字段	数据类型	形状	说明
action	float32	(6,)	6个关节动作，包括：肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
observation.state	float32	(6,)	6个关节状态观测，与动作空间一致
observation.images.front	video	(480, 640, 3)	前置摄像头视频，分辨率480x640，RGB 3通道，AV1编码，30 FPS
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据存储结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet (Parquet格式)
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 (MP4格式)

搜集汇总

数据集介绍

构建方式

在机器人学习领域，遥操作数据集对于训练智能体模仿人类行为至关重要。so101_teleop_private 数据集基于 LeRobot 框架构建，旨在为机器人操控研究提供标准化数据支持。该数据集记录了单任务场景下的机器人遥操作数据，包含 33 个 episode 和 23,886 帧，通过分块存储方式将数据保存为 Parquet 格式，同时将视觉图像编码为 AV1 格式的视频文件，确保高效的数据存取与回放。

特点

该数据集具有鲜明的结构化特点，其特征空间包含 6 维动作与状态信息，分别对应机器人肩部、肘部、腕部及夹爪的自由度。视觉观测部分采用 640×480 分辨率的 RGB 图像，并伴有精确的时间戳与帧索引，便于时序对齐。得益于统一的 30 FPS 采样频率和完整的 Episode 索引，该数据集为离线强化学习与行为克隆提供了高质量的训练样本。

使用方法

用户可通过 LeRobot 库便捷加载该数据集，调用 visualize_dataset 工具在 Hugging Face Spaces 直接预览内容。数据按预设的 chunk 机制组织，训练集默认包含全部 33 个 episode。进行模型训练时，可依次获取 action、observation.state 及 observation.images.front 等模态的特征向量与图像张量，配合 frame_index 实现时序控制，从而高效构建端到端模仿学习流程。

背景与挑战

背景概述

随着具身智能与机器人学习领域的迅猛发展，遥操作数据采集已成为连接人类示教与机器人自主技能习得的关键桥梁。so101_teleop_private数据集由Hugging Face LeRobot团队于近年来构建，依托其开源的机器人学习框架LeRobot，旨在为机器人模仿学习提供高质量的多模态示教数据。该数据集聚焦于单任务场景，共包含33个演示片段、23886帧时序数据，以30帧/秒的频率采集了6维关节空间的动作指令与状态观测，以及640×480像素的前置视觉图像。数据采用Apache-2.0许可发布，面向机器人社区开放，为研究从人类示教到机器人操作的端到端学习范式提供了标准化基准，对推动低成本机器人数据驱动策略的发展具有重要奠基意义。

当前挑战

该数据集所面对的领域挑战主要源于机器人遥操作学习中的典型困境：高维连续动作空间与视觉-运动耦合的复杂性导致策略泛化困难，尤其单任务场景（33条轨迹）的有限样本量难以覆盖真实操作中的扰动与多样性；此外，6自由度关节空间仅含位置信息，缺乏力觉或触觉反馈，限制了精细操作任务的建模能力。在数据构建层面，遥操作过程受限于人类演示者的一致性、硬件延迟及环境差异，导致轨迹质量波动；同时，视觉数据采用AV1编码压缩，在保持高画质的同时可能引入解码开销，而200 MB视频文件与100 MB结构化数据的规模平衡亦对存储与训练时效构成挑战。

常用场景

经典使用场景

so101_teleop_private数据集专为机器人遥操作任务设计，汇聚了33条操作轨迹与23886帧高保真数据，涵盖六自由度机械臂的完整运动学参数（肩部、肘部、腕部及夹爪关节）。该数据集通过远程遥控采集方式，记录了视觉观测（640×480像素前视摄像头）与精确状态信息间的时空关联，是训练机械臂模仿学习与行为克隆模型的理想素材。研究者可将其作为基准，验证从人类示范到机器人自主控制的迁移能力，尤其在多关节协同操作的精密度和复现性评估中发挥关键作用。

衍生相关工作

该数据集的发布催生了多项创新性研究。基于其六轴协作运动特性，衍生出融合注意力机制的跨模态预测模型，实现视觉-动作联合表征。研究者利用其显式状态记录开发了带有物理约束的逆动力学求解器，突破单纯数据驱动方法的现实适用瓶颈。同时，该数据与LeRobot框架的深度集成，促使社区涌现出针对小样本场景的对比学习架构，以及结合扩散策略的高精度轨迹生成方案，进一步拓宽了遥操作数据在机器人技能迁移领域的应用边界。

数据集最近研究

最新研究方向

在机器人学与具身智能领域，so101_teleop_private数据集为模仿学习与遥操作研究提供了标准化数据基石。该数据集采用LeRobot框架构建，收录了so_follower型机器人33个完整演示回合，包含近2.4万帧动作状态序列与前置摄像头视频流，其6维关节空间动作记录（涵盖肩部、肘部、腕部及夹爪控制）精准捕捉了细粒度操作策略。当前前沿研究聚焦于利用此类高保真人机遥操作数据，结合视觉-运动联合建模与扩散策略（Diffusion Policy），推动机器人技能从单一任务泛化至复杂非结构化场景。该数据集尤为契合基于Transformer的端到端策略训练，通过动作分块（Chunk Size=1000）与30Hz高频采样设计，为构建具有时间连续性的自主操作智能体提供了关键训练素材，其Apache-2.0许可证更释放了工业级落地的共享创新潜能。