TestDS

GeoMeld 是一个大规模多模态遥感数据集，专为语义基础建模设计。该数据集包含约250万个空间对齐的样本，覆盖多种传感模态和空间分辨率，并配有通过代理流程生成的语义基础描述。每个样本构成一个跨多分辨率空间对齐的多模态元组： 1. 高分辨率（约1米）：覆盖美国本土的1米地面采样距离（GSD）RGB影像，来自国家农业影像计划（NAIP），并与低分辨率卫星模态共配准。 2. 中分辨率（10米，标准化网格）：包括Sentinel-2多光谱光学影像（12波段）、Sentinel-1 SAR后向散射（VV、VH、HH、HV）、ASTER-DEM高程和地形坡度、冠层高度以及土地覆盖产品（Dynamic World、ESA WorldCover）。 所有10米模态对齐到128×128网格，而高分辨率NAIP影像提供1280×1280的细粒度空间上下文。数据集以约50GB的WebDataset（.tar）分片形式归档，支持直接从Hugging Face流式传输到PyTorch训练管道。数据集包含两个子集：NAIP（高分辨率）和非NAIP（中分辨率），可通过文件名后缀区分。每个样本还包括地理元数据（位置、区域描述符）和语义基础描述。 该数据集适用于图像分类、图像分割、零样本图像分类、文本到图像、图像到文本和特征提取等任务。GeoMeld is a large-scale multimodal remote sensing dataset designed explicitly for semantic grounding modeling. It contains approximately 2.5 million spatially aligned samples, covering multiple sensing modalities and spatial resolutions, and is accompanied by semantic grounding descriptions generated via proxy workflows. Each sample forms a spatially aligned multimodal tuple across multiple resolutions: 1. High-resolution (~1 meter): 1-meter ground sampling distance (GSD) RGB imagery covering the contiguous United States, sourced from the National Agriculture Imagery Program (NAIP), and co-registered with low-resolution satellite modalities. 2. Medium-resolution (10 meters, standardized grid): includes Sentinel-2 multispectral optical imagery (12 bands), Sentinel-1 SAR backscatter (VV, VH, HH, HV), ASTER-DEM elevation and terrain slope, canopy height, and land cover products (Dynamic World, ESA WorldCover). All 10-meter modalities are aligned to a 128×128 grid, while the high-resolution NAIP imagery provides fine-grained spatial context at 1280×1280. The dataset is archived as ~50 GB WebDataset (.tar) shards, supporting direct streaming from Hugging Face into PyTorch training pipelines. It includes two subsets: NAIP (high-resolution) and non-NAIP (medium-resolution), which can be distinguished via filename suffixes. Each sample also incorporates geographic metadata (location, region descriptors) and semantic grounding descriptions. This dataset is applicable to tasks including image classification, image segmentation, zero-shot image classification, text-to-image generation, image-to-text generation, and feature extraction.

搜集汇总

数据集介绍

构建方式

在遥感与地球观测领域，GeoMeld数据集的构建体现了多模态数据融合的前沿理念。该数据集通过精心设计的空间对齐流程，整合了来自美国国家农业影像计划的高分辨率RGB影像，以及Sentinel-2多光谱、Sentinel-1合成孔径雷达、ASTER数字高程模型等多种中分辨率遥感数据源。所有中分辨率数据被统一重采样至128×128的标准网格，而高分辨率NAIP影像则保留了1280×1280的精细空间细节。此外，数据集还通过一个智能化的代理流程，为每个空间对齐的多模态样本生成了语义基础描述文本，从而构成了约250万个样本的大规模集合。

特点

GeoMeld数据集的核心特点在于其异构多模态与高语义密度的有机结合。数据集不仅囊括了光学、雷达、地形、植被高度等多源遥感数据，还提供了ESA WorldCover和Dynamic World两种土地覆盖分类产品作为语义标签。其独特的空间对齐设计确保了不同分辨率与模态的数据在像元层面精确匹配，为跨传感器表征学习奠定了坚实基础。数据以约50GB的WebDataset分片格式组织，支持从云端直接流式读取，极大优化了大规模深度学习训练的数据吞吐效率。

使用方法

为高效利用GeoMeld数据集，研究者可通过Hugging Face Hub的认证流式接口或直接下载分片文件。每个.tar分片内封装了HDF5格式的样本文件，使用WebDataset库可便捷地将其解码为可供PyTorch DataLoader消费的数据流。典型的使用流程包括打开分片、读取HDF5二进制流、提取各模态的数值数组及关联的JSON元数据。数据集的结构化设计允许用户灵活地组合不同模态进行多任务学习，例如将Sentinel-2影像与土地覆盖标签配对用于语义分割，或结合所有模态与描述文本进行视觉-语言联合建模。

背景与挑战

背景概述

GeoMeld数据集作为一项面向遥感领域的大规模多模态地球观测数据集，由Maram Hasan等研究人员在CVPRW 2026研讨会上正式提出。该数据集旨在应对遥感领域中多模态表示学习、视觉-语言建模及跨传感器泛化等核心研究问题，其构建融合了高分辨率NAIP影像与中分辨率Sentinel-1、Sentinel-2等多种异构传感模态，并辅以通过智能流程生成的语义基础描述。GeoMeld的推出为遥感基础模型的研究提供了关键的数据支撑，推动了该领域从单一模态分析向多模态语义理解的技术演进。

当前挑战

GeoMeld数据集致力于解决遥感领域中多模态融合与语义理解的关键挑战，其核心问题在于如何有效整合不同空间分辨率、不同传感机制（如光学与SAR）的异构数据，并实现跨模态的语义对齐与泛化。在构建过程中，研究团队面临多重挑战：其一，需实现高达2.5百万样本的多源数据精确空间配准，确保不同分辨率影像在网格上的对齐一致性；其二，大规模数据的存储与高效访问成为瓶颈，为此采用WebDataset分片与HDF5二进制格式以优化流式加载；其三，语义描述生成需依赖自动化流程，在保证描述准确性与丰富性的同时，避免引入噪声或偏差。

常用场景

经典使用场景

在遥感与地球观测领域，GeoMeld数据集为多模态表示学习提供了经典范例。该数据集整合了高分辨率NAIP影像与中分辨率Sentinel-2、Sentinel-1等多源遥感数据，并辅以语义标注文本，使得研究者能够在一个统一的框架下进行跨模态对齐与特征提取。其典型应用场景包括训练视觉-语言基础模型，以理解遥感影像中的地理语义信息，例如通过图像描述生成任务，模型可以自动产生对地表覆盖、土地利用等内容的自然语言描述，从而推动遥感智能解译技术的发展。

实际应用

在实际应用中，GeoMeld数据集支撑了众多与可持续发展相关的技术解决方案。例如，在精准农业领域，模型可利用其多时序影像监测作物长势与病虫害；在城市规划中，结合语义标注可自动识别建筑分布与土地利用变化；在环境监测方面，融合Sentinel-1雷达数据能够实现全天候的地表形变与洪水淹没分析。这些应用得益于数据集提供的多模态对齐与丰富标注，使得深度学习模型能够更准确、高效地服务于自然资源管理、灾害响应与气候变化研究等现实需求。

衍生相关工作

围绕GeoMeld数据集，已衍生出一系列重要的学术研究工作。其提出的多模态对齐架构与语义标注流程，为后续遥感基础模型的构建提供了参考范式，例如基于视觉-语言预训练的模型能够实现零样本土地分类与跨域迁移。相关研究进一步探索了多分辨率特征融合、跨模态自监督学习等方向，推动了如GeoCLIP、RemoteCLIP等经典模型的发展。这些工作不仅深化了对遥感多模态表示的理解，也为下游任务如地物分割、变化检测等提供了更强大的预训练骨干网络。