test_so1

该数据集是由LeRobot创建的机器人数据集，包含100个episodes，14197帧，1个任务。数据集包含机器人动作、状态观测、头部和腕部图像等多种特征，数据文件大小为100MB，视频文件大小为200MB。具体特征包括动作（6个浮点数表示的关节位置）、观测状态（6个浮点数表示的关节位置）、头部图像（240x320x3的视频帧）、腕部图像（240x320x3的视频帧）以及时间戳、帧索引、episode索引等元数据。

原始信息汇总

数据集概述

基本信息

• 数据集名称: test_so1
• 创建工具: LeRobot
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 100
• 总帧数: 14197
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 20 FPS
• 数据拆分: 训练集 (0:100)

数据结构

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

头部图像观测

• 数据类型: video
• 形状: [240, 320, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 240
  • 宽度: 320
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 20
  • 通道数: 3
  • 包含音频: false

腕部图像观测

• 数据类型: video
• 形状: [240, 320, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 240
  • 宽度: 320
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 20
  • 通道数: 3
  • 包含音频: false

其他特征

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，高质量的数据集对于算法训练与验证至关重要。test_so1数据集依托LeRobot框架构建，通过so101_follower型机器人采集了100个完整交互片段，总计14197帧数据，并以20帧每秒的速率记录。数据以分块形式组织，每块包含1000帧，存储为Parquet格式文件，同时配套保存了头部与腕部视角的视频流，确保了动作与观测序列的同步性与完整性。

特点

该数据集在机器人操作任务中展现出多维度的观测特性。它不仅提供了六自由度关节的位置状态作为动作与观测向量，还融合了双视角视觉信息，包括240x320分辨率的RGB图像，编码为AV1格式以优化存储。数据结构清晰，涵盖时间戳、帧索引与任务标识等元数据，支持端到端的模仿学习与强化学习研究，为复杂环境下的机器人控制提供了丰富的多模态输入。

使用方法

针对机器人学习算法的开发，test_so1数据集提供了便捷的访问路径。用户可通过加载Parquet文件直接获取动作、状态及图像特征，并利用预定义的视频路径关联视觉数据。数据集已划分为训练集，涵盖全部100个片段，适用于模型训练与验证。研究者可基于该数据集构建感知-控制管道，探索从原始图像到关节动作的映射，或用于基准测试以评估不同控制策略的性能。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。test_so1数据集依托LeRobot开源框架构建，专注于机器人操作任务的数据采集。该数据集收录了SO101型跟随机器人执行单一任务时产生的多模态交互轨迹，包含14197帧数据，涵盖关节状态、末端执行器动作以及头部与腕部视觉观测。其结构化存储与视频编码设计，为研究机器人从视觉感知到动作执行的端到端策略学习提供了实证基础，有助于弥合仿真环境与物理部署之间的鸿沟。

当前挑战

该数据集旨在应对机器人操作中从视觉输入到连续动作映射的复杂挑战，其核心问题在于如何从高维感知数据中学习鲁棒且泛化的控制策略。构建过程中的挑战包括多传感器数据的精确时间同步、大规模视频数据的高效压缩与存储，以及真实环境中动作标注的噪声抑制。此外，数据采集需确保任务执行的连贯性与安全性，避免因机械误差或环境干扰导致轨迹中断，这对硬件稳定性和实验设计提出了较高要求。

常用场景

经典使用场景

在机器人学习领域，test_so1数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过记录so101_follower型机器人的关节位置状态、头部与腕部视觉图像，以及时间戳等多模态信息，构建了丰富的交互轨迹。研究者可基于这些轨迹训练端到端的策略模型，使机器人能够学习从视觉感知到动作执行的映射关系，从而在仿真或真实环境中完成跟随任务。

实际应用

该数据集的实际价值体现在服务机器人、工业自动化等场景。基于其记录的跟随任务数据，可以训练机器人实现物品递送、人员陪同或产线协作等实用功能。双视角视觉信息增强了机器人在复杂光照与遮挡环境下的感知鲁棒性，而精确的关节动作记录则为运动规划的优化提供了参照。这为降低机器人编程门槛、实现快速技能部署提供了可能。

衍生相关工作

围绕test_so1数据集，已衍生出多项经典研究工作。例如，利用其多模态序列数据训练时空注意力网络，以提升机器人对动态目标的跟踪性能。也有工作专注于从离线数据中学习稳健的视觉伺服策略，或结合逆强化学习从演示中推断任务奖励函数。这些研究不仅验证了数据集的有效性，也进一步拓展了其在行为克隆、离线强化学习等方向的应用边界。