so100_test

该数据集是一个机器人学任务的数据集，包含了50个剧集，共18442帧，1个任务，100个视频，以及1个片段，每个片段大小为1000。数据集使用LeRobot创建，并且所有的视频帧率均为30fps。数据集目前只有训练分割。数据集的特征包括动作、状态、笔记本电脑摄像头视频、手机摄像头视频、时间戳、帧索引、剧集索引、索引和任务索引等。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so100, tutorial

数据集描述

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 创建工具: LeRobot

数据集结构

• 数据文件格式: parquet
• 数据文件路径: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.0
• 机器人类型: so100
• 总集数: 50
• 总帧数: 18442
• 总任务数: 1
• 总视频数: 100
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:50

数据特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观察状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观察图像 (observation.images.laptop 和 observation.images.phone):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 帧率: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道数: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so100_test数据集通过LeRobot平台精心构建，采用先进的实验数据采集方法。该数据集包含50个完整的工作周期，总计18442帧数据，以30fps的帧率记录，确保时间序列的精确性。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效压缩，同时配套100段MP4格式视频，全面记录实验过程。

特点

该数据集以其多维度的机器人操作数据为特色，包含6自由度机械臂的关节角度动作指令和实时状态反馈，以及双视角（笔记本电脑和手机）的同步视频流。视频数据采用AV1编解码器，分辨率达640x480，色彩空间为YUV420p，为机器人视觉研究提供高质量素材。数据字段设计科学，涵盖时间戳、帧索引等元数据，支持精细的时序分析。

使用方法

研究者可通过HuggingFace平台直接访问该数据集，利用Parquet文件的高效列式存储特性快速加载数据。视频文件与动作数据通过episode_index实现精准对齐，便于开发机器人控制算法。数据集采用Apache 2.0许可，允许修改和再发布，建议配合LeRobot代码库进行深度开发，充分发挥其在机器人学习领域的应用价值。

背景与挑战

背景概述

so100_test数据集由HuggingFace的LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集旨在为机器人控制与行为学习提供高质量的多模态数据支持，涵盖了50个完整的行为序列和18442帧数据，每帧包含6维度的机械臂动作状态和双视角视觉观测。其核心研究问题聚焦于如何通过真实环境下的交互数据提升机器人任务执行的泛化能力，为模仿学习与强化学习算法提供基准测试平台。Apache-2.0许可的开放特性促进了学术界对机器人感知-动作闭环系统的探索。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，需解决多传感器时序对齐精度不足导致的动作-观测异步问题，以及跨视角视觉特征融合对机械臂控制精度的影响；在构建过程中，高频率（30fps）多模态数据采集对硬件同步提出严苛要求，6自由度机械臂动作空间的连续性与视觉观测的高维度特性使得数据标注与质量校验成本显著增加。此外，缺乏详细的任务场景描述和基准测试指标，限制了数据集的横向对比研究价值。

常用场景

经典使用场景

在机器人控制领域，so100_test数据集以其丰富的机械臂运动数据和多视角视频记录，成为研究机器人动作规划与执行的经典基准。数据集包含50个完整操作序列，覆盖了机械臂的6自由度运动控制，配合笔记本电脑和手机双视角的同步视频，为研究者提供了完整的动作-观测对应关系。这种结构特别适合用于模仿学习算法的训练与验证，研究者可以通过分析机械臂关节角度变化与视觉观测的关联，构建更鲁棒的动作预测模型。

解决学术问题

该数据集有效解决了机器人控制研究中动作表示与视觉感知的联合建模难题。通过提供精确的关节角度数据和同步的多视角视频，研究者能够深入探究机械臂运动学特征与视觉反馈的映射关系。在模仿学习和强化学习框架下，这种高质量的动作-观测配对数据显著降低了算法训练中的表征模糊性，为机器人动作泛化能力的研究提供了可靠基准。数据集的标准化格式进一步促进了不同控制算法在相同条件下的公平比较。

衍生相关工作

基于so100_test数据集的特征，已衍生出多个机器人控制领域的创新研究。部分工作专注于改进行为克隆算法的视觉特征提取模块，利用双视角视频数据增强动作预测的鲁棒性。另有研究通过分析数据集中机械臂的连续动作模式，提出了新的动态运动基元表示方法。在跨模态学习方向，该数据集支持了多个视觉-动作联合嵌入模型的验证工作，推动了机器人多模态感知控制的发展。