Galaxea-Open-World-Dataset

Galaxea开放世界数据集包含超过500小时的真实世界移动操作数据，使用统一的机器人实体收集，以保证数据一致性。数据集包含细粒度的子任务语言注释，涵盖住宅、厨房、零售和办公室等多种环境。数据集采用RLDS格式。

原始信息汇总

Galaxea Open-World Dataset 概述

基本信息

• 许可证：CC BY-NC-SA 4.0
• 语言：英语、中文
• 规模：超过1TB
• 标签：真实世界、双臂、全身控制、操作

主要特点

• 500+小时的真实世界移动操作数据
• 所有数据使用统一机器人本体收集以确保一致性
• 细粒度的子任务语言标注
• 覆盖住宅、厨房、零售和办公室场景
• 数据集采用RLDS格式

数据集结构

数据集按时间分为四个等量部分，并提供小型样本数据集用于快速入门

rlds ├── part1_r1_lite ├── part2_r1_lite ├── part3_r1_lite ├── part4_r1_lite └── sample

数据模式

数据集包含以下结构：

• episode_metadata：包含原始数据文件路径
• steps：包含每个步骤的信息
  • 首尾步骤标识（is_first, is_last）
  • 语言指令（格式："高级指令"@"中文低级指令"@"英文低级指令"）
  • 观测数据：
    • 基础速度
    • 左右夹爪状态
    • 左右腕部深度摄像头数据
    • 头部和腕部RGB摄像头图像
    • 左右臂和躯干的关节位置与速度
    • 历史动作记录
  • 动作数据：26维向量（包含左右臂、夹爪、躯干和基础控制）
  • 片段索引和变体索引

使用示例

提供Python脚本示例，可将RLDS数据集中的片段转换为MP4视频格式（头部摄像头视角）

引用信息

使用本数据集或模型时请引用： bibtex @article{galaxea2025, title={Galaxea G0: Open-World Dataset and Dual-System VLA Model}, author={Galaxea Team}, journal={arXiv preprint arXiv:2509.00576}, year={2025} }

搜集汇总

数据集介绍

构建方式

Galaxea开放世界数据集通过统一机器人平台在真实环境中采集，涵盖住宅、厨房、零售和办公四大场景，累计收集超过500小时的双臂全身控制操作数据。数据采集过程中采用多模态传感器同步记录，包括头部与腕部相机的RGB图像、深度信息、关节位置与速度以及基座运动状态，确保数据的一致性与完整性。

特点

该数据集以RLDS格式组织，提供精细化的子任务语言标注，每条指令均包含高中低三级语义描述。数据规模超过1TB，按时间划分为四个均等部分并附有样本集，支持高效存取与处理。多视角视觉数据与26维动作空间的结合，为开放世界中的移动操作任务提供了丰富的研究素材。

使用方法

研究者可通过TensorFlow Datasets直接加载数据集，利用提供的示例脚本将RLDS格式数据转换为视频或结构化训练样本。数据集支持机器人学习算法的开发，尤其适用于视觉语言动作模型的训练与验证。使用前需遵循CC BY-NC-SA 4.0许可协议，并按规定引用相关论文。

背景与挑战

背景概述

Galaxea开放世界数据集由Galaxea团队于2025年推出，专注于机器人移动操作领域的研究。该数据集通过统一机器人本体采集了超过500小时的真实世界交互数据，涵盖住宅、厨房、零售和办公等多种环境场景。其核心研究目标在于推动机器人全身控制与双臂操作技术的突破，通过细粒度的子任务语言标注和多模态传感器数据，为具身智能系统在开放环境中的泛化能力提供重要支撑。

当前挑战

该数据集致力于解决开放环境下机器人移动操作的复杂任务执行挑战，包括多模态感知融合、长时程任务规划以及动态环境适应性等问题。构建过程中面临大规模真实数据采集的稳定性挑战，需确保统一机器人本体的数据一致性，同时处理多传感器时序同步、海量数据存储与标注等工程技术难题。跨场景数据融合与高质量语言指令标注也是构建过程中的重要挑战。

常用场景

经典使用场景

在机器人操作研究领域，Galaxea开放世界数据集为双臂全身控制提供了丰富的真实世界交互数据。该数据集通过统一机器人本体采集的500小时多场景操作数据，成为训练视觉语言动作模型的基准资源。研究者利用其精细的语言标注和多模态观测数据，开发能够理解复杂指令并执行精确操作的智能系统，推动机器人从单一任务向开放环境泛化能力的发展。

实际应用

在实际应用层面，该数据集支撑的服务机器人系统已展现出在家庭助理、仓储物流和工业自动化领域的巨大潜力。基于该数据训练的模型能够理解自然语言指令，在复杂环境中完成物品取放、设备操作等任务。其双臂协同和全身控制特性特别适用于需要精细操作的应用场景，为开发真正实用的服务机器人提供了关键数据支撑。

衍生相关工作

该数据集已催生一系列重要研究成果，特别是在视觉语言动作模型架构创新方面。基于其多模态特性，研究者开发了能够同时处理视觉输入和语言指令的端到端学习框架。这些工作显著提升了机器人在开放环境中的任务理解能力和操作精度，为后续研究设立了新的性能基准，并推动了整个领域向更通用的人工智能系统发展。