pick_lift_cube

这是一个关于机器人技术的数据集，包含15个剧集，2596帧，1个任务，30个视频和1个块。数据集以Parquet格式存储，并包含视频文件。每个剧集包含1000个数据点，帧率为30fps。数据集分为训练集。数据集的特征包括机器人末端执行器的位置和动作，以及相应的奖励和完成状态。此外，还包括来自两个不同摄像头的图像信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 代码库版本: v2.1

数据集结构

• 总任务数: 1
• 总片段数: 15
• 总帧数: 2596
• 总视频数: 30
• 总数据块数: 1
• 数据块大小: 1000
• 帧率 (FPS): 30
• 分割: 训练集 (train): 0:15

数据路径

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.state:
  • 数据类型: float32
  • 形状: [6]
• action:
  • 数据类型: float32
  • 形状: [4]
  • 名称: delta_x_ee, delta_y_ee, delta_z_ee, gripper_delta
• next.reward:
  • 数据类型: float32
  • 形状: [1]
• next.done:
  • 数据类型: bool
  • 形状: [1]
• complementary_info.discrete_penalty:
  • 数据类型: float32
  • 形状: [1]
  • 名称: discrete_penalty
• observation.images.laptop1:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: channels, height, width
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• observation.images.laptop2:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: channels, height, width
  • 视频信息: 同 observation.images.laptop1
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，pick_lift_cube数据集通过LeRobot平台精心构建，涵盖了15个完整操作序列和2596帧数据。采用模块化存储设计，每个操作片段以parquet格式封装，并辅以30fps的高清视频记录。技术架构上实现了多维数据同步采集，包括6维机械臂状态、4维动作向量及离散惩罚信号，通过严格的时序索引确保数据连贯性。

特点

该数据集最显著的特征在于其多模态数据融合能力，同时包含双视角480p视觉流和精确的末端执行器运动轨迹。数据结构采用层次化组织，通过episode_index和frame_index实现精确数据定位。动作空间设计极具工程价值，不仅记录三维位移增量，还包含夹爪开合状态，为模仿学习研究提供了丰富的监督信号。

使用方法

研究人员可通过解析parquet文件快速获取结构化数据，配合视频路径映射实现视听数据对齐。典型应用场景包括：利用observation.state和action字段训练逆动力学模型，基于双视角图像开发视觉伺服算法，或通过discrete_penalty字段优化强化学习奖励函数。数据分块存储设计支持流式加载，适合大规模分布式训练。

背景与挑战

背景概述

pick_lift_cube数据集由LeRobot团队构建，专注于机器人操作任务的研究。该数据集通过记录机械臂拾取和搬运立方体的动作序列，为机器人学习复杂的抓取和操控技能提供了宝贵资源。数据集包含15个完整操作序列，共计2596帧数据，涵盖了机械臂末端执行器的运动轨迹、夹持器状态以及多视角视觉信息。其核心研究问题在于如何通过端到端学习使机器人掌握精确的物体操控能力，这一领域的研究对工业自动化和服务机器人发展具有重要意义。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，机器人操作任务需要处理高维连续动作空间与复杂视觉感知的耦合，如何从有限的演示数据中学习稳健的策略是一大难题；在构建过程中，数据采集需要精确同步多模态传感器信息，包括机械臂状态、视觉观测和奖励信号，这对硬件系统和数据管道设计提出了极高要求。此外，数据规模相对较小可能限制深度强化学习算法的泛化能力。

常用场景

经典使用场景

在机器人操作任务的研究中，pick_lift_cube数据集被广泛用于训练和评估机械臂抓取立方体的能力。该数据集通过记录机械臂的状态、动作和奖励信号，为研究人员提供了丰富的实验数据。其多视角的视频记录和精确的传感器数据，使得该数据集成为研究机器人操作任务的理想选择。

解决学术问题

pick_lift_cube数据集解决了机器人操作任务中的多个关键学术问题，包括机械臂动作规划、抓取策略优化以及任务完成度的评估。通过提供高精度的状态和动作数据，该数据集帮助研究人员深入理解机械臂在复杂环境中的行为模式，从而推动了机器人操作算法的进步。

衍生相关工作

基于pick_lift_cube数据集，研究人员已经开发了多种机器人操作算法和模型。例如，一些工作利用该数据集训练深度强化学习模型，以提升机械臂在复杂环境中的抓取能力。此外，该数据集还被用于研究多模态感知在机器人操作中的应用，进一步拓展了其学术影响力。