so100_pengrip

这是一个使用LeRobot创建的数据集，包含25个episodes，每个episode包含多个frames，共有75个video文件。数据集的结构中包含了行动、状态、以及来自三个不同摄像头的视频信息等特征。数据集适用于机器人学相关的任务。

原始信息汇总

数据集概述

基本信息

• 名称: so100_pengrip
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so100, pengrip

数据集描述

• 创建工具: 使用 LeRobot 创建
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 25
• 总帧数: 6007
• 总任务数: 1
• 总视频数: 75
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 分割: 训练集 (train): 0:25

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images):
  • FrontCam, TopCam, WristCam:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 名称: height, width, channels
    • 信息:
      • 帧率: 30.0
      • 高度: 480
      • 宽度: 640
      • 通道数: 3
      • 编解码器: av1
      • 像素格式: yuv420p
      • 是否为深度图: false
      • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务领域。数据采集过程涉及25个完整操作序列，共6007帧图像数据，以30fps的帧率记录。采用分块存储策略，每个数据块包含1000帧，以Parquet格式高效存储多模态观测数据，包括机械臂关节状态和三个视角（前视、顶视、腕部）的同步视频流。

特点

数据集显著特点在于其多模态数据融合能力，同时包含机械臂六自由度关节动作指令（主肩部平移/抬升、肘部弯曲、腕部弯曲/旋转及夹持器状态）和对应的三视角视觉观测。视频数据采用AV1编码，分辨率达640×480，色彩空间为YUV420p，确保视觉信息的高保真度。数据标注体系完善，每个帧均带有精确的时间戳和任务索引，支持时序分析与任务导向研究。

使用方法

使用该数据集时，可通过解析Parquet文件获取结构化操作数据，配合MP4格式视频文件进行多模态对齐。数据路径采用模板化设计，支持按分块索引和任务编号快速定位。典型应用场景包括机器人模仿学习算法开发，研究者可利用动作-观测配对数据训练控制策略，或通过三视角视频数据研究跨视角表征学习。数据已预分割为训练集，涵盖全部25个操作序列。

背景与挑战

背景概述

so100_pengrip数据集由LeRobot团队构建，专注于机器人操作任务的研究。该数据集以SO100型机器人为实验平台，记录了机械臂执行抓取任务时的多模态数据，包括关节状态、视觉观测和时间序列信息。数据集包含25个完整操作序列，共计6007帧高精度传感器数据，通过三个不同视角的摄像头同步采集视觉信息，为机器人学习与控制算法提供了丰富的训练素材。

当前挑战

该数据集面临的核心挑战在于机器人操作任务的高维度连续控制问题，需从多模态观测中提取有效特征以实现精准抓取。构建过程中，数据同步与标定成为主要技术难点，需确保机械臂状态数据与三路视觉信号的时间对齐。此外，真实场景下的光照变化、物体遮挡等干扰因素对视觉数据的质量提出了更高要求，增加了算法泛化能力的验证难度。

常用场景

经典使用场景

在机器人控制与操作领域，so100_pengrip数据集以其多视角视频数据和精确的机械臂动作记录，成为研究机器人抓取任务的经典基准。该数据集通过FrontCam、TopCam和WristCam三个视角的高帧率视频，配合六自由度机械臂的关节角度与夹爪状态数据，为模仿学习与强化学习算法提供了丰富的训练素材。研究者可基于该数据集构建端到端的抓取策略模型，或分析多模态感知对操作任务的影响。

实际应用

在工业自动化场景中，该数据集可直接用于训练智能分拣系统的视觉伺服控制模块。其记录的SO100机械臂真实操作数据，能够优化仓储物流中的物体抓取成功率。医疗机器人领域亦可借鉴其多视角视频与动作的映射关系，开发更精准的手术器械操控算法。数据集包含的夹爪力控数据对精密装配作业的自动化改造具有重要参考价值。

衍生相关工作

基于该数据集的开源特性，已衍生出多个机器人学习领域的创新研究。LeRobot团队后续开发的层次化强化学习框架，利用其多任务标注优化了策略迁移效率。部分学者结合该数据集的视频流与状态数据，提出了新型的跨模态注意力机制，显著提升了动作预测的时空一致性。这些工作持续推动着机器人操作从实验室向真实场景的转化进程。