pp_cube

该数据集使用LeRobot创建，包含43个剧集，共21677帧，1个任务。数据集以parquet格式存储，并包括对应的视频文件。数据集的结构包括动作、状态、时间戳等特征，以及主副图像信息。每个数据块大小为1000帧，帧率为30fps。训练集分割为前43个剧集。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

• 机器人类型: so-100
• 代码库版本: v3.0
• 总回合数: 43
• 总帧数: 21677
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 30 FPS
• 数据分割: 训练集 (0:43)

数据文件

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB

特征说明

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 维度名称: ["motor_1", "motor_2", "motor_3", "motor_4", "motor_5", "motor_6"]
• 帧率: 30 FPS

观测状态特征

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 维度名称: ["motor_1", "motor_2", "motor_3", "motor_4", "motor_5", "motor_6"]
• 帧率: 30 FPS

图像观测特征

• 主摄像头图像: observation.images.main

• 数据类型: video

• 图像尺寸: 240×320×3 (高度×宽度×通道)

• 维度名称: ["height", "width", "channel"]

• 视频编码: avc1

• 像素格式: yuv420p

• 非深度图: false

• 无音频: true

• 次摄像头图像: observation.images.secondary_0

• 数据类型: video

• 图像尺寸: 240×320×3 (高度×宽度×通道)

• 维度名称: ["height", "width", "channel"]

• 视频编码: avc1

• 像素格式: yuv420p

• 非深度图: false

• 无音频: true

索引特征

• 时间戳: timestamp (float32, [1], 30 FPS)
• 回合索引: episode_index (int64, [1], 30 FPS)
• 帧索引: frame_index (int64, [1], 30 FPS)
• 任务索引: task_index (int64, [1], 30 FPS)
• 索引: index (int64, [1], 30 FPS)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，pp_cube数据集通过LeRobot平台精心构建，采用SO-100型机器人采集多模态交互数据。该数据集包含43个完整交互片段，总计21677帧数据，以30帧/秒的采样率记录机械臂的六维动作指令与关节状态观测。数据以分块存储的Parquet格式组织，每块包含1000帧结构化数据，并同步保存双视角240×320像素的RGB视频流，形成时空对齐的多模态数据序列。

特点

该数据集展现出鲜明的多模态特性，同步囊括六自由度机械臂的动作向量、关节状态观测及双摄像头视觉信息。数据结构设计精密，动作与观测空间均以float32类型记录六维电机参数，视频流采用H.264编码确保数据紧凑性。特别值得注意的是，所有模态数据均以30Hz频率严格同步，并配备完整的时间戳、片段索引与任务索引，为时序建模提供坚实基础。数据集总体规模达300MB，在保证数据质量的同时维持了适中的存储需求。

使用方法

研究者可通过标准数据加载流程调用该数据集，按照chunk-{chunk_index:03d}/file-{file_index:03d}.parquet路径模式访问结构化数据。训练时可直接提取动作-观测对进行策略学习，利用双视角图像增强视觉表征的鲁棒性。视频数据存储在独立路径下，支持帧级解析与时空特征提取。该数据集专为机器人模仿学习与行为克隆任务设计，其统一的数据范式便于与主流强化学习框架无缝集成，加速机器人控制算法的开发迭代。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据的稀缺性始终制约着策略泛化能力的突破。pp_cube数据集作为LeRobot项目生态系统的重要组成部分，通过Apache 2.0开源协议发布，其设计初衷在于构建面向多关节机械臂操作的标准化基准。该数据集采用SO-100型机器人平台，以30Hz采样频率记录了43个完整操作序列，涵盖六自由度关节控制与双视角视觉观测的同步数据流，为模仿学习与强化学习算法提供了真实世界的物理交互范本。

当前挑战

机器人操作任务面临动作空间高维连续控制的本质难题，六自由度机械臂的精确轨迹规划需克服动力学约束与视觉感知的耦合挑战。数据集构建过程中，多模态传感器时序对齐的精度保障成为关键瓶颈，双路240×320分辨率视频流与关节状态数据的严格同步要求毫秒级时间戳校准。此外，示范数据覆盖度的局限性使得模型在未见场景的泛化能力受到制约，如何从有限 episode 中提取具有迁移价值的运动基元仍需深入探索。

常用场景

经典使用场景

在机器人控制领域，pp_cube数据集通过记录六自由度机械臂的运动轨迹与多视角视觉数据，为强化学习算法的训练提供了标准化的实验平台。该数据集包含43个完整任务序列，以30Hz频率采集关节状态与图像观测，能够有效支持端到端策略学习的研究工作。

实际应用

在工业自动化场景中，该数据集可直接用于训练精密装配任务的智能控制系统。通过模拟真实机械臂的运动模式，能够优化生产线上的抓取、放置等操作流程，为智能制造系统提供可靠的决策支持，有效提升生产效率和操作安全性。

衍生相关工作

基于该数据集的特性，已衍生出多项关于多模态表征学习的创新研究。部分工作聚焦于时空特征提取算法的改进，另一些研究则探索了跨任务迁移学习框架，这些成果持续推动着机器人感知与控制一体化研究的发展进程。