gorgeous-30hz-merged

该数据集是使用LeRobot创建的，专注于机器人技术领域。数据集包含来自bi_so_follower机器人的动作和观测数据，具体包括12个关节的位置信息（如左右肩、肘、腕和夹持器的位置），以及来自三个不同视角的图像数据（左上方、左左方和左右方），图像分辨率为480x640，帧率为30fps。数据集共包含179个 episodes，173292帧，6个任务，数据以parquet文件格式存储，视频文件以mp4格式存储。数据集的总数据文件大小为100MB，视频文件大小为200MB。适用于机器人控制、行为模仿和强化学习等任务。This dataset was constructed using LeRobot, targeting the field of robotics. It encompasses action and observation data collected from the bi_so_follower robot, including positional information of 12 joints (e.g., positions of the left and right shoulders, elbows, wrists, and grippers), alongside image data captured from three distinct viewpoints: top-left, far-left, and near-left. The images have a resolution of 480×640 and a frame rate of 30 fps. In total, the dataset contains 179 episodes, 173,292 frames, and 6 distinct tasks. The structured data is stored in Parquet file format, while the video files are saved in MP4 format. The overall size of the structured data files is 100 MB, and the total size of the video files is 200 MB. This dataset is applicable to tasks including robot control, behavior cloning, and reinforcement learning.

原始信息汇总

数据集概述

基本信息

• 数据集名称: gorgeous-30hz-merged
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 179
• 总帧数: 173,292
• 总任务数: 6
• 帧率: 30 Hz
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据块大小: 1000
• 代码库版本: v3.0

数据结构与内容

• 数据格式: Parquet 文件
• 数据存储路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频存储路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分: 全部数据用于训练 (索引 0 至 179)

特征字段

动作

• 字段名: action
• 数据类型: float32
• 维度: [12]
• 描述: 包含左右机械臂各关节位置，具体为：
  • left_shoulder_pan.pos
  • left_shoulder_lift.pos
  • left_elbow_flex.pos
  • left_wrist_flex.pos
  • left_wrist_roll.pos
  • left_gripper.pos
  • right_shoulder_pan.pos
  • right_shoulder_lift.pos
  • right_elbow_flex.pos
  • right_wrist_flex.pos
  • right_wrist_roll.pos
  • right_gripper.pos

观测状态

• 字段名: observation.state
• 数据类型: float32
• 维度: [12]
• 描述: 与动作字段包含相同的机械臂关节位置信息。

观测图像

包含三个视角的彩色视频观测：

• 字段名: observation.images.left_top, observation.images.left_left, observation.images.left_right
• 数据类型: video
• 图像尺寸: 高度 480 像素，宽度 640 像素，3 通道
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 是否为深度图: 否
• 是否包含音频: 否

元数据

• timestamp: 时间戳 (float32, 维度 [1])
• frame_index: 帧索引 (int64, 维度 [1])
• episode_index: 情节索引 (int64, 维度 [1])
• index: 索引 (int64, 维度 [1])
• task_index: 任务索引 (int64, 维度 [1])

机器人平台

• 机器人类型: bi_so_follower

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=rook86/gorgeous-30hz-merged

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于实际物理系统的交互记录。gorgeous-30hz-merged数据集通过LeRobot平台采集，其构建过程体现了对双机械臂操作任务的系统性记录。该数据集共包含179个完整任务片段，总计173,292帧数据，以30赫兹的频率同步捕获机械臂的状态与多视角视觉信息。数据以分块形式存储于Parquet文件中，每块约1000帧，确保了高效的数据管理与读取。这种构建方式不仅保留了机器人执行6种不同任务时的连续时序信息，也为后续的模仿学习与策略训练提供了结构化的原始素材。

特点

该数据集的核心特征在于其多维度的异构数据融合。它同步记录了双机械臂系统中12个关节的位置状态作为动作与观测向量，并配备了三个固定视角的彩色视频流，分辨率均为640x480，编码格式为AV1。数据以严格的时序对齐方式组织，每一帧都附带时间戳、帧索引、任务索引与片段索引，形成了完整的元数据体系。这种设计使得数据集能够同时支持基于状态的强化学习与基于视觉的端到端策略学习，为机器人操作研究提供了丰富的多模态信息基础。

使用方法

使用该数据集时，研究者可通过LeRobot提供的标准化数据加载接口进行访问。数据集已预分为训练集，涵盖全部179个任务片段，用户可依据帧索引或片段索引灵活提取所需数据段。对于动作与状态数据，可直接读取浮点数组进行模型训练；对于视频数据，则需通过配套的解码工具还原为图像序列。在具体应用中，该数据集适用于双机械臂协调操作的模仿学习、视觉运动策略建模以及跨模态表示学习等研究方向，为算法验证与比较提供了高质量的基准数据源。

背景与挑战

背景概述

在机器人学领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。gorgeous-30hz-merged数据集由LeRobot项目创建，该项目隶属于HuggingFace社区，致力于构建开放、易用的机器人学习资源。该数据集聚焦于双臂仿人机器人（bi_so_follower）的操作任务，收录了179个完整交互片段，总计超过17万帧数据，以30赫兹频率同步记录多视角视觉观测与精确的关节状态及动作指令。其核心研究问题在于如何从真实物理交互中学习复杂的双臂协同操作策略，旨在为机器人技能学习提供丰富、结构化的实证基础，对促进家庭服务或工业场景下的灵巧操作研究具有显著价值。

当前挑战

该数据集致力于解决机器人模仿学习中从高维多模态观测到连续动作空间的映射这一核心挑战，其难点在于处理多视角视频流与精确关节状态的时间对齐与融合，以及从演示中泛化出鲁棒且适应动态环境的策略。在构建过程中，挑战同样显著：需要设计严谨的数据采集协议以确保多传感器（如多个摄像头与机器人编码器）数据在30赫兹下的严格同步；海量的视频数据（约200GB）与状态数据（约100GB）对存储、压缩与高效存取提出了工程要求；此外，在真实物理环境中采集多样化的任务演示，需克服机器人控制、场景安全与数据一致性的平衡难题。

常用场景

经典使用场景

在机器人学习领域，多模态数据集对于推动模仿学习与行为克隆研究至关重要。gorgeous-30hz-merged数据集以其高频率的传感器数据与多视角视觉信息，为研究者提供了一个经典的实验平台。该数据集常用于训练机器人执行双臂协调操作任务，通过整合关节位置状态与同步视觉流，模型能够学习从观察中推断动作策略，进而实现精细的物体操控与任务执行。

衍生相关工作

围绕该数据集，学术界衍生出一系列专注于多模态机器人学习的经典工作。这些研究通常利用其丰富的状态-动作-视觉对齐数据，探索视觉-运动联合编码、时序预测模型以及分层强化学习架构。相关成果不仅推动了LeRobot等开源框架的生态发展，也为后续大规模机器人数据集的构建与标准化提供了重要参考范式。

数据集最近研究

最新研究方向

在机器人学习领域，多模态数据融合正成为推动具身智能发展的关键驱动力。gorgeous-30hz-merged数据集以其高频率的双臂机器人操作记录，为模仿学习与强化学习算法提供了丰富的训练素材。当前研究聚焦于如何高效整合来自多个视角的视觉观测与精确的关节状态信息，以提升策略在复杂任务中的泛化能力。随着LeRobot等开源平台的普及，此类结构化数据集正加速端到端控制模型的迭代，促使机器人能够更自然地理解并执行精细操作，为家庭服务与工业自动化场景的落地奠定数据基础。