so100_test

该数据集是一个机器人学习数据集，包含了机器人操作的相关数据，如肩膀、肘部、手腕和抓取器的动作数据，以及机器人手腕和摄像头观察到的图像数据。数据集共有2个剧集，1788帧，1个任务，4个视频文件，分为训练集。数据以Parquet格式存储，视频为AV1编码。

原始信息汇总

数据集概述

基本信息

• 名称: so100_test
• 许可证: Apache-2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot, so100, tutorial

数据集描述

• 创建工具: 使用LeRobot创建
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so100_with_koch
• 总集数: 2
• 总帧数: 1788
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. 动作（action）

   • 数据类型: float32
   • 形状: [6]
   • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

2. 观测状态（observation.state）

   • 数据类型: float32
   • 形状: [6]
   • 名称: 同动作特征

3. 观测图像（observation.images.wrist 和 observation.images.webcam）

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 视频信息:
     • 高度: 480
     • 宽度: 640
     • 编解码器: av1
     • 像素格式: yuv420p
     • 是否为深度图: false
     • 帧率: 30 fps
     • 通道数: 3
     • 是否有音频: false

4. 其他特征

   • timestamp: float32, 形状 [1]
   • frame_index: int64, 形状 [1]
   • episode_index: int64, 形状 [1]
   • index: int64, 形状 [1]
   • task_index: int64, 形状 [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

so100_test数据集依托LeRobot开源框架构建，采用模块化数据采集策略记录机械臂操作任务。技术实现上通过SO100型机械臂配合Koch传感器，以30fps的采样频率捕获多模态数据，包括6自由度关节动作、双视角视觉观测（腕部摄像头与外部网络摄像头）及时间戳信息。数据以分块存储形式组织，每个数据块包含1000帧的Parquet格式记录，并同步保存AV1编码的MP4视频流，确保时序数据与视觉观测的严格对齐。

特点

该数据集显著特征体现在多模态同步采集体系，不仅包含6维关节空间的动作指令和状态反馈，还整合了480×640分辨率的双路RGB视频流。数据结构采用层次化设计，通过episode_index和frame_index实现操作片段与帧级别的精确索引。各字段数据类型经过严格规范，动作空间与状态空间均为float32类型，视频数据则保留原始像素信息，为模仿学习与强化学习算法提供高保真度的训练素材。

使用方法

使用者可通过解析Parquet文件获取结构化操作数据，配合对应MP4视频文件进行多模态分析。数据加载时需注意时序对齐，利用timestamp字段确保动作指令与视觉观测的同步性。典型应用场景包括：基于关节空间动作的模仿学习、跨模态表示学习、以及端到端机器人策略训练。数据集已预分割训练集，涵盖2个完整操作片段共1788帧数据，研究者可直接用于算法验证与基准测试。

背景与挑战

背景概述

so100_test数据集由LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集旨在为机器人控制与行为学习提供高质量的多模态数据支持，涵盖了机械臂动作、状态观测以及视觉信息等多个维度的数据。数据集采用Apache-2.0开源协议，体现了其在学术与工业界的广泛应用潜力。尽管数据集的具体创建时间和主要研究人员信息尚未公开，但其结构化的数据格式和丰富的特征维度为机器人学习算法的开发与验证提供了重要基础。

当前挑战

so100_test数据集面临的挑战主要集中在两个方面：其一，在机器人技术领域，如何高效处理多模态数据（如动作指令、状态观测和视觉信息）的同步与融合，是该数据集解决的核心问题之一；其二，在数据构建过程中，确保数据的高精度采集与标注，尤其是在复杂动态环境下的机械臂动作记录，对数据采集设备和算法提出了较高要求。此外，数据集的规模相对有限，可能影响其在复杂任务中的泛化能力。

常用场景

经典使用场景

在机器人控制领域，so100_test数据集被广泛用于机械臂动作规划与执行的研究。该数据集通过记录so100机械臂的关节角度、末端执行器状态以及视觉信息，为研究者提供了丰富的多模态数据。其经典使用场景包括机械臂运动轨迹生成、视觉伺服控制算法的验证，以及基于强化学习的机械臂控制策略开发。数据集包含的腕部摄像头和网络摄像头视频流，为视觉-动作联合建模提供了理想的数据支持。

解决学术问题

该数据集有效解决了机器人控制领域中的若干关键问题。通过提供精确的关节角度数据和同步的视觉信息，研究者能够深入分析机械臂运动学与动力学特性。数据集的多模态特性有助于解决视觉-动作对应关系建模的难题，为端到端机器人学习提供了基准。其标准化的数据格式和丰富的传感器信息，显著降低了机器人控制算法的验证门槛，推动了模仿学习和强化学习在机器人领域的应用研究。

衍生相关工作

围绕so100_test数据集已产生一系列重要研究成果。在LeRobot框架下，研究者开发了基于该数据集的模仿学习基准系统，为机器人技能学习提供了标准化评估方案。部分工作利用数据集的多模态特性，提出了新型的跨模态表示学习方法。此外，数据集还被用于验证多种强化学习算法在连续控制任务中的表现，推动了机器人控制领域的算法创新和性能提升。