dreamdifferent/so101_teleop_test2

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含60个episodes，共计16239帧数据。数据集结构包括动作、观测状态、图像（手腕和前方视角）等多种特征。动作和观测状态均为6维浮点数数组，分别对应机器人的各个关节位置。图像特征为480x640分辨率的彩色视频，帧率为30fps。数据集还包含时间戳、帧索引、episode索引等辅助信息。

This dataset was created by LeRobot and is primarily used in the field of robotics. It contains 60 episodes with a total of 16,239 frames. The dataset structure includes various features such as actions, observation states, and images (wrist and front views). Both actions and observation states are 6-dimensional float arrays, corresponding to the positions of various robot joints. The image features are color videos with a resolution of 480x640 and a frame rate of 30fps. The dataset also includes auxiliary information such as timestamps, frame indices, and episode indices.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是训练稳健策略的基石。so101_teleop_test2数据集通过遥操作（teleoperation）的方式采集而成，借助LeRobot框架实现数据的标准化记录与存储。该数据集包含60个演示回合，总计16239帧，所有数据均来自同一任务场景，确保了任务的一致性与数据的集中性。构建过程中，机器人状态信息（包括6个关节位置的浮点值）与多视角视觉观测（腕部及前方摄像头，分辨率480×640，帧率30fps）被同步采集，并以高效的Parquet格式和AV1编码视频分别存储，形成了结构清晰、易于扩展的数据集合。

特点

该数据集最显著的特点在于其高保真度与多模态融合。动作空间与观测状态空间均为6维连续值，精确对应机器人从肩部到夹爪的各关节位置，为精细操控行为的学习提供了必要条件。视觉信息方面，数据集同时提供了腕部与前方两个视角的实时影像，使模型能够获得局部与全局的空间感知能力。此外，数据采用分块（chunk）存储策略，总计约300MB，兼顾了大规模数据的管理效率与存取速度，且遵循Apache-2.0许可协议，便于学术研究与商业应用的二次开发。

使用方法

使用该数据集进行机器人策略训练时，推荐通过LeRobot库提供的标准接口加载，其内置的数据加载器可直接解析Parquet文件与视频流，实现状态、动作、图像及时间戳等特征的快速对齐。用户可依据任务需求，将全部60个回合（约16239帧）作为训练集使用，通过切片或采样的方式构建训练批次。对于需要视觉-运动联合建模的场景，可将两路摄像头图像与关节状态共同作为模型输入，6维动作向量作为预测目标，借助LeRobot或PyTorch等框架搭建端到端的模仿学习或强化学习流水线。

背景与挑战

背景概述

在机器人学习领域，遥操作数据采集是驱动模仿学习与技能迁移的核心基石。so101_teleop_test2数据集由研究团队基于LeRobot框架创建，专注于SO-100型跟随机器人（so_follower）的操控行为记录。该数据集于近期发布，包含了60个演示片段、总计16239帧、30帧每秒的高频视觉与状态数据，涵盖腕部与正面双视角640×480像素的视频流及6维关节动作序列。其核心研究问题在于为机器人精细操作提供标准化、可复现的训练样本，推动从示教到泛化策略的闭环演进。作为开源社区的重要贡献，该数据集借助Apache-2.0许可降低了机器人研究门槛，对推动低成本硬件上的技能学习、跨机构复现性研究具有显著影响力。

当前挑战

该数据集所解决的领域问题挑战在于机器人从原始遥操作数据中提取有效策略的困难，包括高维动作空间与视觉输入的实时映射、不同操作场景下的泛化能力不足，以及有限演示数据对复杂任务的覆盖局限性。在构建过程中，研究者面临同步多模态数据流（关节状态与双视角视频）的精确时间戳对齐难题，确保30帧每秒下动作与视觉观测的因果一致性；同时需处理SO-100机械臂因柔性部件引入的微弱非线性和延迟，以及摄像头视野遮挡、光照变化等环境噪声。此外，仅单一任务类别与60个演示片段的规模限制，对数据增强方法和跨任务迁移学习提出了额外挑战。

常用场景

经典使用场景

在机器人学习与遥操作领域，so101_teleop_test2数据集以其精细的六自由度机械臂控制数据而著称。该数据集记录了SO-100系列追随机器人通过遥操作执行单一任务的全过程，包含60个完整回合、逾1.6万帧的高频运动数据。这些数据以关节空间位置（肩部、肘部、腕部及夹爪）与多视角视觉信息（腕部与前端摄像头）协同呈现，为模仿学习与行为克隆提供了高质量的示范样本。研究者常将其作为验证从示范中学习连续动作策略的基准，尤其适用于在欠驱动或低自由度机械臂上探索高效的动作表征与状态估计方法。

实际应用

在工业与服务业应用场景中，该数据集为轻型协作机械臂的快速部署提供了支撑。例如，基于该数据集训练的模型可将遥操作示范转化为自动化程序，用于电子元件的精密夹取或药品分拣等任务。多视角图像数据使得视觉伺服与手眼标定技术得以优化，而简洁的逆运动学特性则适合开发轻量级边缘计算推理引擎。此外，数据集中的低延迟（30 FPS）同步性能使其成为验证实时远端操控反馈系统的理想测试床，在人机协作培训场景中亦能发挥减少停机损耗的重要作用。

衍生相关工作

该数据集直接推动了LeRobot生态中若干基础性工作的演进。基于其示范数据，研究者开发了针对SO系列机器人的因果动作分割算法，提升了跨回合运动模式的泛化能力。数据集中的高帧率视频片段被用于训练视觉奖励函数，从而在无需手动设计代价函数的情况下实现逆最优控制。近年来，多个工作以其为训练集，验证了四元数姿态解算与关节空间插值策略对机械臂轨迹平滑度的影响，并为对比学习在低维动作先验提取中的应用铺平了道路。