so100_group20

这是一个关于LeRobot机器人学的数据集，包含了20个剧集，共8940帧，分为1个任务。数据集以Parquet格式存储，每个剧集包含一个视频文件，视频分辨率为480x640，帧率为30fps。数据集的结构包括动作、状态、视频帧、时间戳、帧索引、剧集索引、索引和任务索引等特征。该数据集适用于机器人学领域的研究和开发。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so100, tutorial
• 数据集创建工具: LeRobot

数据集结构

• 数据文件格式: parquet
• 配置名称: default
• 数据文件路径: data//.parquet

元数据信息

• 代码库版本: v2.0
• 机器人类型: so100
• 总集数: 20
• 总帧数: 8940
• 总任务数: 1
• 总视频数: 40
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集分割: 0:20

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作特征:

  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

• 观测状态特征:

  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

• 观测图像特征 (laptop):

  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: fps=30.0, height=480, width=640, channels=3, codec=h264, pix_fmt=yuv420p, is_depth_map=false, has_audio=false

• 观测图像特征 (phone):

  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: fps=30.0, height=480, width=640, channels=3, codec=h264, pix_fmt=yuv420p, is_depth_map=false, has_audio=false

• 其他特征:

  • timestamp: float32, shape=[1]
  • frame_index: int64, shape=[1]
  • episode_index: int64, shape=[1]
  • index: int64, shape=[1]
  • task_index: int64, shape=[1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so100_group20数据集通过LeRobot平台精心构建，采用先进的实验数据采集方法。该数据集包含20个完整的工作周期，总计8940帧数据，以30fps的帧率记录，确保时间序列数据的连贯性。数据以分块形式存储，每个数据块包含1000帧，采用parquet格式高效压缩，视频数据则以H.264编码的MP4格式保存，兼顾数据完整性和存储效率。

特点

该数据集展现了机器人控制领域的多维特征，包含六自由度机械臂的动作指令和状态反馈，涵盖肩部、肘部、腕部等关键关节的运动参数。独特的双视角视觉系统提供来自笔记本电脑和手机的两路480×640分辨率视频流，形成丰富的多模态观测数据。精确的时间戳和帧索引设计，为时序分析和动作建模提供了可靠基础。

使用方法

研究人员可通过解析parquet文件获取结构化数据，包括动作指令、机械臂状态和传感器读数。视频数据需配合指定路径加载，建议使用支持H.264解码的库处理。数据集已预分为训练集，涵盖全部20个工作周期，适合用于机器人动作预测、模仿学习等任务。使用前应仔细阅读特征描述，确保正确理解各维度数据的物理意义。

背景与挑战

背景概述

so100_group20数据集作为机器人学领域的重要资源，由LeRobot平台构建并发布，专注于机械臂控制与视觉感知的协同研究。该数据集以SO100型机械臂为核心研究对象，记录了20个完整操作序列的8940帧多模态数据，包含关节动作、状态观测及双视角视觉信息。数据集采用Apache-2.0开源协议，其结构化存储格式与精确的时间戳标注为机器人模仿学习算法验证提供了标准化基准。通过同步记录的六自由度机械臂控制信号与480p双路视频流，该数据集有效填补了复杂操作任务中动作-感知关联研究的实证数据空白。

当前挑战

该数据集面临的核心挑战主要体现在算法验证与数据构建两个维度。在算法层面，多模态时序对齐问题尤为突出，需解决30fps视频流与机械臂控制信号间的毫秒级同步难题；六自由度连续动作空间的稀疏奖励问题也增加了强化学习算法的训练难度。数据构建过程中，双摄像头视角的标定误差控制、长达8940帧数据的连续采集稳定性保障，以及动作指令与视觉观测的语义一致性维护，均为数据集质量控制的关键瓶颈。此外，单一任务类型与有限样本量对算法泛化能力的验证形成制约。

常用场景

经典使用场景

在机器人控制与学习领域，so100_group20数据集以其多模态观测和精确动作记录成为算法验证的基准平台。研究者通过其包含的关节角度、夹爪状态及双视角视频流，能够完整复现机械臂运动轨迹，为模仿学习和强化学习提供高保真度的训练环境。数据集的结构化存储方式特别适合用于端到端策略网络的训练与评估。

实际应用

工业场景中的装配线分拣任务可直接受益于此数据集训练的模型。双摄像头采集的480p视频流模拟了实际工作场景的多视角监控需求，而包含6维连续动作空间的数据格式与主流工业机械臂控制协议兼容。物流企业已尝试利用该数据集的衍生模型进行包裹分拣系统的快速部署。

衍生相关工作

基于该数据集的开源特性，LeRobot团队开发了配套的强化学习基准测试框架。后续研究者在SO100机械臂仿真环境中复现了数据采集过程，并延伸出基于跨模态注意力机制的行为克隆算法。MIT提出的Temporal Fusion Transformer模型也利用该数据集验证了其在长序列动作预测中的优越性。