so101_teleop_test

该数据集由LeRobot创建，适用于机器人技术任务。数据集采用apache-2.0许可证，包含parquet格式的数据文件。数据集包含45个episodes，15031帧，3个任务，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作和观察状态，以及来自前部和腕部摄像头的图像数据。动作和观察状态包含6个浮点数值，分别对应机器人的各个关节位置。图像数据的分辨率为480x640，3通道，视频编码为av1。此外，数据集还包含时间戳、帧索引、episode索引、任务索引等信息。

This dataset is created by LeRobot and is suitable for robotics tasks. The dataset uses the apache-2.0 license and includes data files in parquet format. The dataset contains 45 episodes, 15031 frames, and 3 tasks, with a data file size of 100MB and a video file size of 200MB, at a frame rate of 30fps. The dataset structure includes actions and observation states, as well as image data from front and wrist cameras. The actions and observation states contain 6 floating-point values, corresponding to the robots joint positions. The image data has a resolution of 480x640, 3 channels, and uses av1 video encoding. Additionally, the dataset includes timestamps, frame indices, episode indices, and task indices.

原始信息汇总

数据集概述

• 数据集名称: so101_teleop_test
• 许可证: Apache-2.0
• 任务类别: 机器人 (Robotics)
• 数据集创建工具: LeRobot

数据集规模

• 总片段数: 45
• 总帧数: 15031
• 总任务数: 3
• 帧率 (FPS): 30
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据集结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小 (chunk_size): 1000
• 数据集划分: 仅包含训练集 (train: 0:45)
• 机器人类型: so_follower

特征信息

• 动作 (action): 6维 float32，包含肩部、肘部、腕部、夹爪位置
• 观测状态 (observation.state): 6维 float32，与动作空间一致
• 观测图像 - 前置摄像头 (observation.images.front): 视频格式，分辨率 480x640，AV1 编码，30 FPS
• 观测图像 - 腕部摄像头 (observation.images.wrist): 视频格式，分辨率 480x640，AV1 编码，30 FPS
• 时间戳 (timestamp): 1维 float32
• 帧索引 (frame_index): 1维 int64
• 片段索引 (episode_index): 1维 int64
• 索引 (index): 1维 int64
• 任务索引 (task_index): 1维 int64

引用信息

• 首页: 无
• 论文: 无
• BibTeX: 无

搜集汇总

数据集介绍

构建方式

该数据集是借助LeRobot框架构建的，旨在为机器人遥操作任务提供标准化的训练与评估样本。数据采集自so_follower型机械臂，通过人工遥操作获取45个示范片段，共计15031帧数据，覆盖3种不同任务场景。每一帧同步记录6维动作指令（涵盖关节位置与夹爪状态）、对应的状态观测值、以及来自前端与腕部两路摄像头的640×480分辨率视频流，帧率为30 fps。全部原始数据以Parquet格式分块存储，视频则采用AV1编码压缩为MP4文件，并按照统一的索引体系组织，便于高效加载与复现。

特点

该数据集最显著的特点在于其多模态对齐能力，将高维视觉信息与低维关节控制信号在同一时间戳下紧密耦合，为模仿学习与行为克隆提供了理想的原始素材。数据按1000帧一个块进行切分，兼顾了处理效率与存储灵活性。所有样本均来自同一机械臂平台，动作空间与观测空间维度一致（均为6维），且包含完整的时序索引与任务标签，支持按任务或片段进行灵活切分。此外，数据集采用Apache-2.0开源协议发布，无使用限制，便于学术界与工业界自由研究。

使用方法

用户可通过LeRobot库提供的标准接口直接加载该数据集。推荐利用Hugging Face Spaces上的可视化工具浏览数据片段，直观理解任务内容。在训练阶段，可将观测状态与相机图像作为策略网络的输入，将动作指令作为监督信号，构建端到端的机器人操作策略。数据集已预先划分为训练集（45个片段），用户亦可依据任务索引自行划分验证集或测试集。借助Parquet格式的高效列式存储，可快速过滤特定任务或时间范围的数据，显著提升迭代实验的效率。

背景与挑战

背景概述

so101_teleop_test数据集诞生于机器人学习领域对遥操作精细控制日益增长的需求之中，由Hugging Face社区及LeRobot项目团队创建，旨在为基于视觉的机器人操作任务提供一个标准化、高保真的训练与评估平台。该数据集聚焦于SO系列跟随机器人的遥操作行为，通过记录45个示范剧集、涵盖3种不同任务，以30帧/秒的双视角视频和6维关节空间动作数据，捕捉了从肩部到夹爪的完整运动轨迹。其发布为仿真到真实世界的迁移学习、行为克隆以及端到端机器人策略研究提供了宝贵的基准资源，尤其推动了低成本机械臂在复杂操作任务上的数据驱动方法发展。

当前挑战

当前面临的挑战主要源于机器人操作任务的固有复杂性：一是领域问题层面，遥操作数据受限于人类示教者的技能水平与一致性，而机器人需从有限演示中泛化至未见工况，且双视角高分辨率视频与低频动作数据间的时空对齐需精妙建模；二是构建过程中，确保100MB的parquet动作数据与200MB的AV1编码视频文件在同步性上的零误差，并维持30帧/秒高频采集下的数据完整性，成为数据集构建的技术瓶颈。此外，区分3种不同任务并保持每集数据的一致标注，也对自动化处理流程提出了严苛要求。

常用场景

经典使用场景

在机器人学习领域，so101_teleop_test数据集为模仿学习与行为克隆提供了宝贵的训练资源。该数据集包含由遥操作采集的45条演示轨迹，覆盖3种不同任务，利用SO型跟随机器人记录下关节空间中的六维状态与动作序列。通过整合高分辨率的前置与腕部摄像头视觉信息，研究者能够构建端到端的感知-控制模型，使机器人学会从像素直接映射至关节动作。数据集以标准的LeRobot格式组织，便于快速加载与迭代，成为验证模仿学习算法在精细操作任务中表现的重要基准。

衍生相关工作

自该数据集发布以来，衍生出多项具有启发性的研究工作。基于其结构化的多模态特征，研究者开发了面向机器人技能的无监督预训练框架，利用对比学习对齐视觉与运动表示。同时，数据集促进了模仿学习中‘行为碎片’与‘动作分块’等方法的发展，例如时序合成网络与条件变分自编码器在动作序列预测上的应用。这些工作不仅提升了策略的平滑性与鲁棒性，还揭示了注意力机制在跨帧融合中的潜力，为更复杂的多阶段任务规划奠定了方法基础。

数据集最近研究

最新研究方向

so101_teleop_test数据集作为基于LeRobot框架构建的机器人遥操作数据集，聚焦于模仿学习与行为克隆的前沿方向。该数据集包含45个示范片段、15031帧图像及3种任务类型，通过6维动作空间与多视角视觉输入（前视与腕部摄像头），为细粒度机器人操控技能学习提供了标准化基准。当前研究热点在于利用此类遥操作数据驱动通用操作策略的迁移学习，结合基于Transformer的决策模型实现跨任务泛化能力。该数据集的Apache-2.0许可与规范化特征结构，正推动具身智能领域从任务特定示范向多模态基础模型训练的范式演进，对机器人从固定程序向自适应学习转型具有标志性意义。