real_dark_stack_cubes

这是一个关于机器人技术的数据集，包含了76个剧集，共39712帧，152个视频。数据集的结构包括动作、观察状态、笔记本电脑摄像头视频、手腕摄像头视频等特征信息。所有数据以Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 数据文件格式: .parquet
• 配置名称: default
• 数据文件路径: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 76
• 总帧数: 39712
• 总任务数: 1
• 总视频数: 152
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:76

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观察状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观察图像 (observation.images.laptop):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• 观察图像 (observation.images.wrist):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，real_dark_stack_cubes数据集通过LeRobot框架系统采集，记录了76个完整操作序列的39712帧多维数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧样本，以30fps的时序频率同步捕获机械臂关节状态与双视角视觉信息，确保了操作动作与感知数据的高精度对齐。

特点

该数据集显著特点在于融合了六自由度机械臂的连续关节控制指令与双模态视觉观测，包含腕部摄像头和外部监控视角的同步高清视频流。所有动作与状态数据均以浮点张量形式规范存储，支持直接加载为时空对齐的多模态序列，为模仿学习与行为克隆算法提供结构化输入。其帧级索引机制与时间戳标注保障了时序建模的完整性，适用于端到端机器人策略训练。

使用方法

研究者可通过加载Parquet数据文件直接访问帧索引、关节角度、双视角图像及时间戳等字段。数据集默认划分为训练集，支持按片段或逐帧提取，适用于行为克隆、强化学习等任务。视觉数据以AV1编码视频存储，需配合解码器使用；动作与状态张量可直接输入神经网络模型，实现从多模态观测到连续控制指令的映射学习。

背景与挑战

背景概述

机器人操作数据集real_dark_stack_cubes由HuggingFace的LeRobot项目团队构建，专注于复杂环境下的机械臂操作任务研究。该数据集采用Apache 2.0开源协议，收录了76个完整操作序列和39712帧多模态数据，通过搭载六自由度机械臂的so101_follower机器人平台采集。其核心价值在于提供了包含关节状态、双视角视觉（腕部与固定视角）及时间戳信息的结构化数据，为机器人模仿学习与强化学习算法开发提供了重要支撑。

当前挑战

该数据集旨在解决暗光环境下物体堆叠操作的感知与控制难题，其核心挑战包括机械臂在低光照条件下的视觉伺服精度保持、多关节协同运动的时序一致性建模。数据构建过程中面临传感器同步校准、大规模视频数据压缩存储（采用AV1编解码）以及跨模态数据对齐等技术难点，同时需确保6维动作空间与高分辨率视觉观测间的精确映射关系。

常用场景

经典使用场景

在机器人操作学习领域，real_dark_stack_cubes数据集通过记录机械臂堆叠立方体的完整操作流程，为模仿学习与强化学习算法提供了真实的环境交互数据。其多视角视频流与高精度关节状态数据相结合，能够有效支撑端到端策略网络的训练与验证，尤其在复杂操作任务的动态建模方面展现出显著价值。

解决学术问题

该数据集解决了机器人操作任务中真实环境数据稀缺的核心问题，为研究者在动作表示学习、多模态感知融合以及长时序任务规划等方向提供了基准数据。其精确标注的关节空间动作与同步视觉观测，显著促进了机器人操作策略的泛化能力研究与跨模态表征学习的理论突破。

衍生相关工作

该数据集已衍生出多项机器人操作领域的经典研究，包括基于Transformer的多模态策略网络、视觉-动作耦合表征学习方法，以及跨任务迁移学习框架。这些工作通过利用数据集的丰富时序信息与多传感器同步特性，推动了机器人操作从仿真到真实环境过渡的技术演进。