EarthMM

EarthMM是一个由北京航空航天大学研究团队构建的大规模多模态遥感影像数据集，旨在为统一的多模态生成模型提供数据基础。该数据集包含280万张全球分布的多分辨率图像，涵盖RGB、SAR、NIR、全色和OSM五种模态，并提供了220万组对齐的图像对，空间分辨率覆盖0.5至10米每像素。数据集的创建过程整合了全球范围内的多源遥感观测，通过严格的几何与辐射校正确保模态间对齐。该数据集主要应用于多模态遥感图像的生成与翻译研究，支持联合分布建模、跨模态互补分析以及下游任务的生成式数据增强，旨在解决多模态观测数据稀缺与异构性带来的模型训练挑战。

EarthMM is a large-scale multimodal remote sensing image dataset developed by the research team from Beihang University, aiming to provide a data foundation for unified multimodal generative models. This dataset contains 2.8 million globally distributed multi-resolution images covering five modalities including RGB, SAR, NIR, panchromatic and OSM, and provides 2.2 million aligned image pairs with spatial resolutions ranging from 0.5 to 10 meters per pixel. The construction process of this dataset integrates multi-source remote sensing observations worldwide, and ensures inter-modal alignment through strict geometric and radiometric corrections. This dataset is mainly applied to the research of multimodal remote sensing image generation and translation, supports joint distribution modeling, cross-modal complementary analysis and generative data augmentation for downstream tasks, and aims to address the model training challenges caused by the scarcity and heterogeneity of multimodal observation data.

原始信息汇总

数据集概述：MetaEarth-MM

基本信息

• 数据集名称: MetaEarth-MM
• 全称: MetaEarth-MM: Unified Multimodal Remote Sensing Image Generation with Scene-centered Joint Modeling（以场景为中心的联合建模统一多模态遥感图像生成）
• 所属机构: 北京航空航天大学 (Beihang University)
• 发布状态: 代码和数据集将在论文被接收后公开。

核心特点

• 主题: 多模态遥感图像生成
• 方法论: 采用以场景为中心的联合建模 (Scene-centered Joint Modeling) 方法，实现统一的多模态遥感图像生成。

相关资源

• 论文: 已发表于arXiv，编号为 2605.20090。
• 代码与数据: 尚未公开，计划在论文最终被接收后发布。

引用方式

如需引用该数据集，请使用以下 BibTeX 格式： bibtex @article{MetaEarth_MM, title={MetaEarth-MM: Unified Multimodal Remote Sensing Image Generation with Scene-centered Joint Modeling}, author={Yu, Zhiping and Liu, Chenyang and Cao, Jinqi and Yu, Siwei and Zou, Zhengxia and Shi, Zhenwei}, journal={arXiv preprint arXiv:2605.20090}, year={2026} }

搜集汇总

数据集介绍

构建方式

EarthMM 数据集由研究者整合了 15 个公开的高质量配准对齐遥感数据集与新采集的 RGB-OSM 影像对共同构建而成。经过严格的噪声、云遮挡与异常样本清洗流程后，所有数据被归一化为统一的 256×256 像素图块。新增的 RGB-OSM 影像对覆盖全球 42 个代表性城市，RGB 图像来源于 Google Earth，OSM 地图数据则从 OpenStreetMap 获取并通过地理坐标实现精确配准。最终形成涵盖 RGB、SAR、NIR、PAN 和 OSM 五种模态、总计 280 万张影像与 220 万对齐对的全球尺度多模态遥感数据集。

特点

EarthMM 具有三方面突出特点。其一，模态覆盖全面且组合丰富，涵盖了五种互补性强的遥感观测模态，共包含约 220 万对齐对，为跨模态联合建模提供了深厚的监督信号。其二，空间分辨率跨度极广，从 0.5 米到 10 米不等，覆盖精细空间结构与中尺度传感器观测两个层面，有利于提升模型在多观测尺度下的泛化性能。其三，全球地理分布广泛，涵盖各大洲多样的土地覆盖类型与场景布局，显著增强了训练数据的场景多样性与地理鲁棒性。

使用方法

EarthMM 专为支撑统一多模态遥感图像生成模型而设计，可直接用于训练基于联合分布建模的生成框架。研究者推荐将数据集划分为训练集、验证集与测试集，其中测试集已针对 SAR-RGB、NIR-RGB、PAN-RGB 和 OSM-RGB 等四个代表性模态对设定了固定评估样本。在模型训练过程中，可采用均匀采样策略缓解不同模态对之间的数量不均衡问题。该数据集及其配套代码将在指定 GitHub 仓库中开源发布，供学术界复现与拓展研究。

背景与挑战

背景概述

EarthMM数据集由北京航空航天大学宇航学院智能科学与技术系的研究团队于2025年创建，其核心研究人员包括Zhiping Yu、Chenyang Liu、Zhengxia Zou与Zhenwei Shi等。该数据集旨在应对多模态遥感图像生成领域面临的核心挑战：在现实地球观测中，完整对齐的多模态配对观测数据极为稀缺，而现有生成方法多局限于孤立的两两模态翻译，其可扩展性与通用性受限于模态数量和生成任务的增加。为解决这一困境，EarthMM提供了包含280万张全球多分辨率图像、220万对齐配对的大规模数据集，覆盖RGB、SAR、NIR、PAN与OSM五种模态，空间分辨率从0.5米跨越至10米。通过开展以场景为中心的联合建模，EarthMM为构建统一的多模态生成基础模型MetaEarth-MM奠定了坚实的数据基础，显著推动了跨模态地球观测的生成能力与泛化潜力。

当前挑战

EarthMM数据集所面临的挑战分别来自所解决的领域问题与构建过程本身。在领域问题层面，多模态遥感图像在不同传感器之间呈现显著异质性：光学影像主要反映光谱表观，而SAR则捕捉微波后向散射特性，与NIR和PAN在物理属性与数据分布上存在巨大鸿沟。传统的成对模态翻译方法无法有效建模五种模态间的复杂联合分布，且缺乏统一框架以支持任意模态间的双向生成与零样本泛化，使得跨模态生成任务的通用性备受制约。在构建过程层面，EarthMM需要从15个公开数据集与新增的RGB-OSM配对数据中整合清洗，面临数据来源多样、空间分辨率不统一、地理覆盖不均等挑战；同时，剔除严重噪声、云污染及冗余区域（如均质裸地）的严格清洗流程进一步增加了数据对齐与质量保障的难度。

常用场景

经典使用场景

在遥感领域，多模态图像的获取常受限于传感器配置与气象条件，导致完整配准的观测数据极为稀缺。EarthMM数据集以其覆盖全球的280万张多分辨率图像和220万对齐跨模态对，为联合生成与任意模态间翻译提供了坚实的数据基础。研究者可借助此数据集训练统一的生成基础模型MetaEarth-MM，在单一框架内实现RGB、SAR、NIR、PAN和OSM五种模态的配对联合生成与任意源到目标模态的翻译，突破传统孤立成对翻译的局限。

实际应用

在实际应用中，EarthMM数据集驱动的MetaEarth-MM模型充当了强大的多模态生成数据引擎，显著缓解了配准遥感数据昂贵与稀缺的痛点。具体而言，该数据集支持生成式数据增强，为跨模态图像匹配任务扩充高质量对齐样本，提升LightGlue、LoFTR等匹配器在RGB-OSM和RGB-SAR任务中的精准度。此外，通过将SAR或NIR图像翻译至RGB域，EarthMM赋能领域自适应，使预训练于RGB的语义分割模型在异质模态上性能跃升，为环境监测、城市规划和灾害响应等应用提供了即用且可靠的解决方案。

衍生相关工作

EarthMM数据集衍生了多项开创性工作，引领了遥感生成基础模型的发展方向。在其支撑下诞生的MetaEarth-MM模型，开创性地提出解耦式场景推理与模态感知路由生成器架构，并引入场景一致性正则化，实现了跨五种模态的统一生成。该数据集激活了生成式数据增强、图像级域适应与零样本表示迁移等下游研究范式，例如利用潜在场景表示免训练迁移至场景分类任务，大幅超越传统冻结骨干网络。EarthMM还为后续的多模态配准、融合与解译模型提供了基准测试平台，持续催化遥感领域从任务专用模型向通用基础模型演进的学术浪潮。