pick_up_cube_top_v2

这是一个由LeRobot创建的机器人数据集，包含25个剧集，总共9971帧，数据以Parquet和MP4格式存储。数据集提供了机器人的动作、观察状态、顶部图像等多种特征信息。数据集适用于机器人学相关任务。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 25
• 总帧数: 9971
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 数据块大小: 1000

数据结构

数据特征

• 动作特征:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置:
    • shoulder_pan.pos
    • shoulder_lift.pos
    • elbow_flex.pos
    • wrist_flex.pos
    • wrist_roll.pos
    • gripper.pos

• 观测状态:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置:
    • shoulder_pan.pos
    • shoulder_lift.pos
    • elbow_flex.pos
    • wrist_flex.pos
    • wrist_roll.pos
    • gripper.pos

• 顶部图像观测:

  • 数据类型: 视频
  • 分辨率: 480×640×3
  • 视频编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

• 索引特征:

  • 时间戳: float32 [1]
  • 帧索引: int64 [1]
  • 回合索引: int64 [1]
  • 索引: int64 [1]
  • 任务索引: int64 [1]

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据集划分

• 训练集: 全部25个回合

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，pick_up_cube_top_v2数据集通过LeRobot平台系统采集了机械臂执行拾取立方体的操作序列。该数据集包含25个完整任务片段，总计9971帧数据，以30fps的帧率记录机械臂关节位置与顶部摄像头视觉信息。数据采用分块存储机制，每1000帧为一个数据块，以Parquet格式保存动作指令与观测状态，确保时序数据的完整性与高效存取。

特点

该数据集的核心特征在于多模态数据的同步记录，既包含6自由度机械臂的关节角度控制指令，又整合了480x640分辨率的RGB视觉观测流。数据维度设计严谨，动作空间与状态空间均以浮点型数值精确表征机械臂位姿，同时通过时间戳、帧索引等元数据维持操作轨迹的时序一致性。这种结构为模仿学习与强化学习算法提供了丰富的状态-动作对应关系。

使用方法

研究者可通过加载Parquet数据文件直接获取标准化格式的状态-动作对，其中观测字典包含关节角度状态与顶部视角图像序列。数据集已预设训练集划分，支持按片段索引提取连续操作轨迹。建议结合现代机器人学习框架进行数据流水线构建，利用帧间时序关联开展策略学习，视觉模态可作为感知模块输入，关节控制指令则适用于动力学模型训练。

背景与挑战

背景概述

机器人操作任务数据集作为强化学习与模仿学习研究的重要基础，pick_up_cube_top_v2数据集由LeRobot研究团队基于Apache 2.0协议构建。该数据集聚焦于多关节机械臂的物体抓取任务，通过集成六自由度关节位置控制与顶部视角视觉观测，构建了包含25个完整操作序列的示范数据。其数据架构融合了关节状态空间与480×640分辨率的三通道视觉流，以30Hz采样频率精确记录了机械臂末端执行器与目标物体的交互过程，为机器人精细操作策略的端到端学习提供了标准化基准。

当前挑战

该数据集致力于解决机器人精细操作中的视觉-动作映射难题，其核心挑战在于高维连续动作空间与多模态感知的协同建模。构建过程中面临机械臂轨迹示教的数据采集复杂度，需确保六关节运动轨迹的平滑性与任务成功率；同时视觉观测数据受限于相机视角遮挡与光照变化，要求算法具备对视觉噪声的鲁棒性。数据规模限制亦对模型泛化能力提出挑战，需通过有限样本学习可迁移的操作策略。

常用场景

经典使用场景

在机器人操作学习领域，pick_up_cube_top_v2数据集为机械臂抓取任务提供了丰富的训练样本。该数据集通过顶部视角相机记录机械臂执行方块抓取的全过程，包含关节位置、夹爪状态等多模态观测数据。研究人员可利用这些数据训练端到端的机器人控制策略，特别是针对精细抓取动作的模仿学习与强化学习算法开发。

衍生相关工作

围绕该数据集衍生的经典工作包括基于行为克隆的机械臂控制方法、多模态感知的强化学习框架等研究。LeRobot开源生态中的相关算法利用此类数据集验证了从演示数据中学习复杂操作技能的可行性。这些工作进一步推动了机器人操作数据集的标准化进程，为后续大规模机器人学习研究奠定了基础。

数据集最近研究

最新研究方向

在机器人操作任务领域，pick_up_cube_top_v2数据集正推动视觉-动作映射技术的前沿探索。该数据集通过整合多模态观测数据与关节控制指令，为模仿学习与强化学习算法提供了真实世界的交互轨迹。当前研究聚焦于从稀疏演示数据中提取泛化策略，利用时空特征融合技术提升机械臂在动态环境中的抓取鲁棒性。随着具身智能研究热潮的兴起，这类包含视觉感知与运动控制对齐的数据集，正成为解决复杂操作任务的关键基准，为家庭服务机器人等实际应用场景奠定算法验证基础。