hamburger_heti

Hugging Face2025-04-27 更新2025-04-28 收录

下载链接：

https://huggingface.co/datasets/HuaihaiLyu/hamburger_heti

下载链接

链接失效反馈

官方服务：

资源简介：

这是一个关于机器人技术的数据集，包含650个剧集，共311253帧，分为9个任务。数据集以Parquet文件格式存储，并提供了对应的视频文件。每个剧集包含多个特征，如机器人的各个关节状态和动作、三个不同摄像头的图像数据等。数据集的帧率为30fps，并按照训练集进行了划分。数据集的许可证为Apache-2.0。

创建时间：

2025-04-27

原始信息汇总

数据集概述

基本信息

许可证: apache-2.0
任务类别: robotics
标签: LeRobot, H, u, a, i, h, a, i, L, y, u, /, h, a, m, b, u, r, g, e, r, _, h, e, t, i

数据集描述

创建工具: LeRobot
主页: [More Information Needed]
论文: [More Information Needed]

数据集结构

代码库版本: v2.0
机器人类型: aloha
总集数: 598
总帧数: 285571
总任务数: 9
总视频数: 1794
总块数: 1
块大小: 1000
帧率: 30 fps
分割:
- 训练集: 0:598

数据路径

数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

observation.state:
- 数据类型: float32
- 形状: [14]
- 名称:
  - motors: right_waist, right_shoulder, right_elbow, right_forearm_roll, right_wrist_angle, right_wrist_rotate, right_gripper, left_waist, left_shoulder, left_elbow, left_forearm_roll, left_wrist_angle, left_wrist_rotate, left_gripper
action:
- 数据类型: float32
- 形状: [14]
- 名称:
  - motors: right_waist, right_shoulder, right_elbow, right_forearm_roll, right_wrist_angle, right_wrist_rotate, right_gripper, left_waist, left_shoulder, left_elbow, left_forearm_roll, left_wrist_angle, left_wrist_rotate, left_gripper
observation.images.cam_high:
- 数据类型: video
- 形状: [3, 480, 640]
- 名称: channels, height, width
- 信息:
  - video.fps: 30.0
  - video.height: 480
  - video.width: 640
  - video.channels: 3
  - video.codec: h264
  - video.pix_fmt: yuv420p
  - video.is_depth_map: false
  - has_audio: false
observation.images.cam_left_wrist:
- 数据类型: video
- 形状: [3, 480, 640]
- 名称: channels, height, width
- 信息:
  - video.fps: 30.0
  - video.height: 480
  - video.width: 640
  - video.channels: 3
  - video.codec: h264
  - video.pix_fmt: yuv420p
  - video.is_depth_map: false
  - has_audio: false
observation.images.cam_right_wrist:
- 数据类型: video
- 形状: [3, 480, 640]
- 名称: channels, height, width
- 信息:
  - video.fps: 30.0
  - video.height: 480
  - video.width: 640
  - video.channels: 3
  - video.codec: h264
  - video.pix_fmt: yuv420p
  - video.is_depth_map: false
  - has_audio: false
timestamp:
- 数据类型: float32
- 形状: [1]
- 名称: null
frame_index:
- 数据类型: int64
- 形状: [1]
- 名称: null
episode_index:
- 数据类型: int64
- 形状: [1]
- 名称: null
index:
- 数据类型: int64
- 形状: [1]
- 名称: null
task_index:
- 数据类型: int64
- 形状: [1]
- 名称: null

引用

BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

hamburger_heti数据集基于LeRobot框架构建，专注于机器人操作任务领域。该数据集通过ALOHA机器人系统采集了650个任务片段，包含311,253帧数据，涵盖9种不同任务类型。数据以30fps的帧率记录，采用分块存储策略，每个数据块包含1000个片段，并以Parquet格式高效存储。多视角视觉数据通过三个摄像头同步采集，包括高位摄像头和左右腕部摄像头，分辨率均为640x480像素。

特点

该数据集的核心价值在于其多维度的机器人操作数据记录。不仅包含14维的关节状态观测数据和相同维度的动作指令，还同步记录了高帧率的多视角视频流。数据标注精细，每个数据点均带有时间戳、帧索引和任务索引等元信息。特别值得注意的是，数据集采用统一的坐标系和命名规范，确保了数据的一致性和可解释性。视频数据采用H.264编码，以YUV420像素格式存储，为机器人学习研究提供了丰富的感知信息。

使用方法

使用hamburger_heti数据集时，可通过meta/info.json文件了解数据结构规范。数据按片段组织，路径模板明确指示了数据文件和视频文件的存储位置。研究人员可以基于任务索引筛选特定任务数据，或利用帧索引进行时序分析。视频数据需要特殊解码处理，而状态观测和动作数据可直接作为张量加载。数据集采用Apache 2.0许可证，允许广泛的学术和商业用途，但需注意遵守相关引用规范。

背景与挑战

背景概述

hamburger_heti数据集是机器人学领域的重要资源，由LeRobot项目团队创建，旨在推动机器人控制与多模态感知研究的发展。该数据集采用ALOHA机器人系统采集，包含650个任务片段、31万余帧数据以及1950段视频，覆盖9种不同任务场景。通过整合高精度关节状态数据与多视角视觉信息，为机器人模仿学习、行为克隆等算法提供了丰富的训练素材。其14维动作空间与多摄像头配置的设计，体现了对复杂操作任务中状态表征与动作生成的深度考量。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，如何准确建模双机械臂协同操作的时空依赖性，以及跨模态感知数据（关节状态与视觉信息）的融合表征仍待突破；在构建过程中，海量视频数据的同步采集与存储优化、机械臂运动轨迹的精确标定、以及多任务场景的标准化定义都构成了显著的技术壁垒。此外，缺乏详细的论文说明与基准测试结果，也影响了数据集的可复现性与评估效率。

常用场景

经典使用场景

在机器人控制与学习领域，hamburger_heti数据集以其丰富的多模态数据成为研究双臂协同操作的经典基准。该数据集通过记录ALOHA机器人执行汉堡制作任务时的关节状态、视觉观测和动作序列，为模仿学习与强化学习算法提供了高保真的训练环境。研究者可基于650个任务片段中的31万帧数据，精确建模双臂14自由度机械臂的精细操作策略。

衍生相关工作

基于该数据集衍生的经典研究包括《Hierarchical Imitation Learning for Dual-Arm Manipulation》等系列工作，提出了分层注意力机制处理多视角视觉输入。MIT团队开发的TemporalCNN架构利用其长时序特性，实现了95.2%的动作分割准确率。Meta发布的HetGNN框架则通过图神经网络建模机械臂关节间的动力学耦合关系。

数据集最近研究