real_metal_stack_cubes

这是一个由LeRobot创建的机器人数据集，包含76个剧集，39712个帧，1个任务，152个视频和1个数据块。数据集以parquet格式存储，并包含相关视频文件。数据集中的特征包括动作、观察状态、笔记本电脑摄像头图像、手腕摄像头图像等。该数据集适用于机器人学相关任务。

原始信息汇总

数据集概述

基本信息

• 名称: real_metal_stack_cubes
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 76
• 总帧数: 39712
• 总任务数: 1
• 总视频数: 152
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:76)

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.laptop):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• 观测图像 (observation.images.wrist):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，real_metal_stack_cubes数据集通过LeRobot平台系统构建，采用so101_follower型机器人执行金属立方体堆叠任务。数据采集过程涵盖76个完整操作片段，总计39712帧图像与动作记录，以30fps的帧率同步保存机器人关节位置、夹爪状态及双视角视觉数据，所有数据按标准化parquet格式分块存储确保完整性。

使用方法

研究者可通过加载parquet数据文件快速访问多模态序列，利用帧索引与片段索引构建时间连续的训练样本。双路视频数据可直接用于视觉表征学习，而动作与状态观测值的对齐关系为动力学建模提供支持。数据集默认划分为训练集，适用于端到端策略学习、传感器融合算法验证等机器人控制研究场景。

背景与挑战

背景概述

机器人操作数据集real_metal_stack_cubes由LeRobot团队基于Apache 2.0许可协议构建，专注于多模态机械臂控制研究领域。该数据集采用so101_follower型机器人平台，通过双视角视觉系统（腕部与固定视角）采集了76个完整操作序列，共计39,712帧30fps的高清视频数据。其核心价值在于提供了六自由度机械臂的精确关节控制数据与同步视觉观测，为复杂堆叠任务的动态建模与强化学习算法验证奠定了坚实基础。

当前挑战

该数据集旨在解决机器人精细操作中视觉-动作协同映射的挑战，特别是金属立方体堆叠任务对末端执行器位姿控制的毫米级精度要求。构建过程中面临多传感器时序同步、高维动作空间采样效率、以及真实环境光照变化导致的视觉表征不稳定等难题。双视角视频数据的存储与压缩处理同样构成技术瓶颈，需在保持视觉质量与控制数据一致性的前提下优化存储效率。

常用场景

经典使用场景

在机器人操作学习领域，real_metal_stack_cubes数据集通过记录机械臂堆叠立方体的完整操作流程，为模仿学习与强化学习算法提供了高质量的训练样本。其多视角视觉数据与精确关节动作的同步记录，使得研究者能够构建从视觉感知到运动执行的端到端策略模型，显著提升了机械臂在复杂操作任务中的泛化能力。

解决学术问题

该数据集有效解决了机器人操作中视觉-动作映射的学术难题，通过提供大规模真实世界操作数据，支持基于学习的控制策略开发。其包含的关节位置状态与双视角视觉信息，为研究跨模态表征学习、动作预测模型以及长期任务规划提供了关键数据基础，推动了机器人自主操作能力的理论突破。

实际应用

工业自动化领域可借助该数据集训练智能分拣与堆叠系统，提升生产线物料处理效率。服务机器人领域则通过模拟类似操作任务，开发家居物品整理与摆放能力。其真实物理交互数据还能用于仿真环境校准，降低机器人部署前的调试成本与风险。

数据集最近研究

最新研究方向

在机器人操作学习领域，real_metal_stack_cubes数据集正推动多模态感知与强化学习的融合研究。该数据集通过配备腕部与笔记本电脑双视角视频流，结合六自由度机械臂的精确动作记录，为模仿学习与视觉运动策略提供了高质量的真实世界交互数据。当前研究热点集中于利用此类多模态数据训练端到端的决策模型，旨在提升机械臂在复杂堆叠任务中的泛化能力与鲁棒性。随着具身智能和物理交互任务的兴起，该数据集为探索机器人精细操作与空间推理机制提供了关键支撑，对工业自动化和服务机器人技术的发展具有重要推动意义。