pick_up_cube_top

这是一个由LeRobot创建的机器人数据集，包含一个剧集，399帧，1个任务。数据集采用Parquet格式存储，并包含相关视频文件。每个文件包含机器人的动作、状态、图像等信息。数据集的帧率为30fps，并采用Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总情节数: 1
• 总帧数: 399
• 总任务数: 1
• 帧率: 30 fps
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集划分: 0:1

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

• 名称: observation.images.top
• 数据类型: video
• 图像尺寸: 480×640×3
• 视频规格:
  • 高度: 480像素
  • 宽度: 640像素
  • 通道数: 3
  • 帧率: 30 fps
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

索引特征

• 时间戳: float32, 维度[1]
• 帧索引: int64, 维度[1]
• 情节索引: int64, 维度[1]
• 数据索引: int64, 维度[1]
• 任务索引: int64, 维度[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

引用信息

• 论文: 待补充
• 主页: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，pick_up_cube_top数据集通过LeRobot平台精心构建，采用so101_follower型机器人执行单一任务流程。数据采集过程以30帧/秒的速率记录机械臂关节位置与视觉信息，生成399帧连续时序数据并存储为分块Parquet格式，每个数据块包含完整的动作轨迹与观测状态映射。

特点

该数据集的核心价值体现在多模态特征融合架构中，既包含六自由度机械臂的关节空间坐标（肩部平移、肩部抬升、肘部弯曲等），又整合了顶部视角的RGB视觉流（480×640分辨率）。所有数据均以严格的时间戳对齐，形成动作-状态-图像的三角关联，为模仿学习算法提供立体化输入维度。

使用方法

研究者可通过加载标准Parquet文件直接访问结构化数据流，利用帧索引实现跨模态数据同步。训练集覆盖全部任务序列，支持端到端策略学习或行为克隆模型开发。视频数据与关节状态数据的并行解析特性，使其特别适用于视觉运动控制算法的验证与优化。

背景与挑战

背景概述

机器人操作任务数据集作为强化学习研究的重要基础设施，其发展推动了机械臂自主控制技术的进步。pick_up_cube_top数据集由LeRobot研究团队基于Apache 2.0协议构建，专门针对六自由度机械臂的物体抓取任务。该数据集通过顶部视角图像序列记录机械臂关节运动轨迹，包含399帧30fps的视觉动作配对数据，为模仿学习与策略泛化研究提供结构化实验平台。

当前挑战

在机器人操作领域，该数据集需解决高维动作空间中的时序一致性难题，其构建过程面临多模态数据同步的技术瓶颈。机械臂运动轨迹与视觉观测的时间对齐要求微秒级精度，而不同关节角度的运动学约束又增加了动作序列的标注复杂度。数据采集过程中还需克服传感器噪声干扰与视角遮挡问题，确保动作指令与视觉观测的空间对应关系具有物理合理性。

常用场景

经典使用场景

在机器人操作领域，pick_up_cube_top数据集为机械臂抓取任务提供了标准化实验平台。该数据集通过顶部摄像头记录机械臂各关节位置与夹爪状态，结合视觉观测数据构建了完整的动作-状态映射关系。研究人员可基于此数据集训练机器人执行精确的物体抓取动作，尤其适用于研究多关节协同控制与视觉引导抓取的算法验证。

解决学术问题

该数据集有效解决了机器人学习中的模仿学习与强化学习算法验证难题。通过提供真实机械臂运动轨迹与视觉观测的同步数据，研究者能够系统评估动作预测精度和策略泛化能力。其结构化特征设计为关节空间控制、状态估计误差分析等核心问题提供了量化基准，显著推动了机器人技能学习的可复现性研究。

衍生相关工作

该数据集催生了系列机器人学习领域的创新研究，包括基于时空特征的抓取动作生成模型、多模态感知的操纵策略优化等工作。研究者通过扩展其动作表示方法开发了分层强化学习框架，并借鉴其状态编码机制改进了端到端视觉伺服控制系统，这些衍生成果持续推动着机器人灵巧操作技术的发展。