PP-v1

这是一个使用LeRobot创建的机器人操作数据集，包含了一个剧集，459帧，1个任务，2个视频和1个数据块。数据集以parquet文件格式存储，并提供了相应的视频文件。数据特征包括机器人的动作、状态、以及来自两个不同摄像头的图像信息。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so100_follower

数据集结构

• 总集数: 1
• 总帧数: 459
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 30fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action)

  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 观测状态 (observation.state)

  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 观测图像 (observation.images.gripper 和 observation.images.top)

  • 数据类型: video
  • 形状: [720, 1280, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 720
    • 宽度: 1280
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30fps
    • 通道数: 3
    • 是否有音频: false

• 其他特征

  • 时间戳 (timestamp): float32, 形状 [1]
  • 帧索引 (frame_index): int64, 形状 [1]
  • 集索引 (episode_index): int64, 形状 [1]
  • 索引 (index): int64, 形状 [1]
  • 任务索引 (task_index): int64, 形状 [1]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，PP-v1数据集依托LeRobot框架构建，通过记录so100_follower型机器人的操作过程，系统采集了459帧数据。数据以30fps的帧率捕获，包含机械臂的六维关节位置状态及双视角视觉信息，并以分块存储的parquet格式高效组织，确保了数据的完整性与可访问性。

特点

该数据集的特点在于其多模态数据结构，既包含六维浮点型动作与状态向量，又集成720p分辨率的高清视频流，涵盖夹爪与顶部双视角观测。数据维度命名清晰，时间戳与帧索引精确对齐，支持机器人行为分析与视觉感知任务的联合建模，为模仿学习与强化学习提供了丰富样本。

使用方法

使用者可通过加载parquet文件直接访问结构化数据，利用动作与观测字段训练控制策略模型，或结合视频路径调用视觉输入进行端到端学习。数据集已预设训练划分，支持按帧索引或任务索引提取子序列，适用于动力学建模、行为克隆及跨模态表示学习等研究方向。

背景与挑战

背景概述

机器人学习领域近年来对高质量数据集的需求日益增长，PP-v1数据集应运而生。该数据集由LeRobot团队基于Apache 2.0许可证构建，专门针对so100_follower型机器人的操作任务。数据集包含459帧多模态数据，涵盖机械臂关节位置状态、夹爪视觉感知和顶部视角视频信息，为机器人模仿学习与行为克隆研究提供了重要支撑。其结构化设计支持端到端策略学习，推动了机器人自主操作能力的发展。

当前挑战

该数据集致力于解决机器人操作任务中的动作预测与环境感知问题，核心挑战在于高维连续动作空间与多模态观测数据的对齐与建模。构建过程中面临多传感器时序同步、大规模视频数据压缩存储，以及真实世界操作任务的场景多样性等难题。数据采集还需克服机械臂控制精度与视觉感知噪声之间的协调问题，确保状态-动作对的准确性与一致性。

常用场景

经典使用场景

在机器人学习领域，PP-v1数据集为模仿学习与强化学习算法提供了高质量的实验平台。该数据集通过采集真实机械臂的关节状态、夹爪视觉与顶部视角视频数据，完整记录了任务执行过程中的多模态观测序列与动作轨迹。研究者可基于该数据集训练端到端的策略网络，使机器人能够从视觉输入直接生成连续控制指令，实现精细化的操作任务。

解决学术问题

PP-v1数据集有效解决了机器人操作任务中样本效率低下与仿真到真实迁移的挑战。通过提供真实世界的多模态演示数据，该数据集支持离线强化学习、行为克隆等算法的性能验证，显著降低了真实机器人实验的成本与风险。其精确的时间同步与高分辨率视觉数据为研究跨模态表征学习、时序动作预测等关键问题提供了重要基础。

衍生相关工作

围绕PP-v1数据集已衍生出多项机器人学习领域的创新研究。包括基于时空注意力机制的行为克隆框架、结合视觉Transformer的端到端控制策略，以及多任务模仿学习系统。这些工作充分利用数据集的多模态特性，在动作序列预测精度与跨视角特征融合方面取得了显著进展，为后续大规模机器人数据集的构建范式提供了重要参考。