pick_red_cube

这是一个关于机器人技术的数据集，使用LeRobot工具创建。数据集包含120个剧集，共计5802帧，专注于1个任务。数据以Parquet格式存储，每个剧集包含观测状态、动作以及来自不同摄像头的图像数据。数据集的许可为Apache-2.0。

This is a robotics dataset created using the LeRobot tool. It contains 120 episodes totaling 5802 frames, focusing on one single task. The data is stored in Parquet format, and each episode includes observation states, actions, and image data from different cameras. The dataset is licensed under Apache-2.0.

原始信息汇总

数据集概述

基本信息

• 数据集名称: pick_red_cube
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总情节数: 120
• 总帧数: 5802
• 总任务数: 1
• 总视频数: 0
• 总数据块数: 1
• 数据块大小: 1000
• 帧率: 30 FPS
• 数据分割: 训练集 (0:120)
• 数据格式: Parquet
• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: 无

机器人平台

• 机器人类型: Unitree_G1_Dex3

数据特征

观察值

• observation.state

  • 数据类型: float32
  • 形状: [28]
  • 关节名称: kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftHandThumb0, kLeftHandThumb1, kLeftHandThumb2, kLeftHandMiddle0, kLeftHandMiddle1, kLeftHandIndex0, kLeftHandIndex1, kRightHandThumb0, kRightHandThumb1, kRightHandThumb2, kRightHandIndex0, kRightHandIndex1, kRightHandMiddle0, kRightHandMiddle1

• observation.images.cam_left_high

  • 数据类型: 图像
  • 形状: [480, 640, 3]
  • 维度名称: 高度, 宽度, 通道

• observation.images.cam_left_wrist

  • 数据类型: 图像
  • 形状: [480, 640, 3]
  • 维度名称: 高度, 宽度, 通道

• observation.images.cam_right_wrist

  • 数据类型: 图像
  • 形状: [480, 640, 3]
  • 维度名称: 高度, 宽度, 通道

动作

• action
  • 数据类型: float32
  • 形状: [28]
  • 关节名称: kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftHandThumb0, kLeftHandThumb1, kLeftHandThumb2, kLeftHandMiddle0, kLeftHandMiddle1, kLeftHandIndex0, kLeftHandIndex1, kRightHandThumb0, kRightHandThumb1, kRightHandThumb2, kRightHandIndex0, kRightHandIndex1, kRightHandMiddle0, kRightHandMiddle1

元数据

• timestamp

  • 数据类型: float32
  • 形状: [1]

• frame_index

  • 数据类型: int64
  • 形状: [1]

• episode_index

  • 数据类型: int64
  • 形状: [1]

• index

  • 数据类型: int64
  • 形状: [1]

• task_index

  • 数据类型: int64
  • 形状: [1]

缺失信息

• 主页: 未提供
• 论文: 未提供
• 引用 BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的发展至关重要。pick_red_cube数据集依托LeRobot平台构建，专门采集自Unitree G1 Dex3双足机器人执行拾取红色立方体任务的真实交互数据。该数据集通过记录机器人关节状态、多视角图像及对应动作指令，以30帧每秒的速率捕获了120条完整任务轨迹，共计5802帧数据，并以Parquet格式高效存储，确保了数据的时序一致性与完整性。

特点

该数据集的核心特征在于其多维度的观测空间与精细的动作表征。观测部分不仅包含28维的机器人关节状态向量，详细刻画了肩、肘、腕及手指各关节的角度信息，还同步提供了左肩高位、左腕与右腕三个视角的RGB图像，分辨率均为640x480，为视觉-动作联合建模提供了丰富输入。动作空间则与观测状态维度完全对应，实现了端到端的控制映射。数据以分块形式组织，便于流式加载与处理。

使用方法

研究人员可利用该数据集进行机器人操作策略的离线训练与验证。数据集已预分为训练集，涵盖了全部120个任务片段。通过LeRobot或兼容的数据加载工具，用户可以按片段索引读取Parquet文件，获取同步的观测-动作对。典型的应用流程包括加载图像与状态数据作为模型输入，并以对应的动作数据作为监督信号，训练用于预测或生成机器人控制指令的神经网络模型，进而评估其在拾取类任务上的泛化能力。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习等数据驱动方法亟需高质量、大规模的真实世界交互数据集作为支撑。pick_red_cube数据集应运而生，它由HuggingFace的LeRobot项目创建，专门针对Unitree G1 Dex3灵巧手机器人设计，聚焦于拾取红色立方体这一基础但具代表性的操作任务。该数据集收录了120条完整交互轨迹，共计5802帧数据，以30帧每秒的速率同步记录机器人的28维关节状态观测、对应动作指令以及来自三个视角的视觉图像。其构建旨在为机器人灵巧操作策略的端到端学习提供多模态、时序对齐的示范数据，推动现实场景下机器人自主技能获取的研究进展。

当前挑战

该数据集致力于解决机器人灵巧操作中的视觉-动作映射与长时程任务规划挑战，其核心在于如何从多视角视觉输入和本体感知中，学习生成精确、鲁棒的控制序列以完成特定物体抓取。在构建层面，挑战首先体现在数据采集的复杂性与一致性上，需要精确同步高维关节状态、多路视觉流与时间戳，并确保所有交互轨迹在任务设定与环境条件上保持高度可重复性。其次，数据规模与多样性有限，仅包含单一任务和单一机器人平台的数据，可能制约了学习模型的泛化能力与对新场景的适应性。

常用场景

经典使用场景

在机器人操作学习领域，pick_red_cube数据集为双臂灵巧操作任务提供了丰富的示范数据。该数据集通过Unitree G1 Dex3机器人采集了120个完整交互序列，包含多视角视觉观测与高维关节状态，经典应用于模仿学习与强化学习算法的训练与评估。研究者可利用其结构化轨迹数据，模拟机器人抓取红色立方体的动态过程，从而优化策略网络在复杂环境下的泛化能力。

实际应用

在工业自动化与家庭服务机器人场景中，pick_red_cube数据集可直接指导机器人执行物体分拣、精密装配等任务。其记录的灵巧手部关节数据与视觉反馈，能够迁移至物流仓储的包裹抓取、电子元件的精细摆放等实际应用。数据集蕴含的物理交互模式，为机器人适应非结构化环境提供了可扩展的行为模板。

衍生相关工作

基于该数据集的多模态特性，衍生出视觉运动策略融合、跨视角表征对齐等一系列创新研究。例如，结合逆动力学模型与注意力机制的抓取预测工作，显著提升了机器人操作精度；此外，数据驱动的仿真到真实迁移方法，利用该数据集实现了策略在物理机器人上的零样本部署，推动了机器人学习范式的演进。