ibm-esa-geospatial/TerraMesh-Masks

TerraMesh-Masks是一个用于卫星图像开放词汇分割的数据集，提供二进制分割掩码和标题，扩展了TerraMesh样本。该数据集还提供了一个经过人工验证的评估基准TerraMesh-Masks-Eval。数据集大小在10M到100M之间，主要用于图像特征提取任务，采用odbl许可证。包含训练集和验证集，完整数据集需要18TB存储空间，图像数据由TerraMesh提供。

TerraMesh-Masks is a dataset for open-vocabulary segmentation of satellite imagery. This dataset provides binary segmentation masks with captions that extend the samples from TerraMesh. We also provide a human-verified evaluation benchmark, called TerraMesh-Masks-Eval. The dataset size is between 10M and 100M, primarily used for image feature extraction tasks, licensed under odbl. It includes training and validation sets, requires 18TB of storage space, and the image data is provided by TerraMesh.

搜集汇总

数据集介绍

构建方式

TerraMesh-Masks是面向卫星影像开放词汇分割任务的高质量数据集，其在TerraMesh多模态地球观测数据基础上，通过自动化流程生成二值分割掩码，并为每幅影像配以文本描述。掩码标注基于Overture Maps基础层与OpenStreetMap标签，经系统化处理形成像素级语义信息，为场景理解提供了丰富的训练素材。

特点

该数据集规模宏大，总存储需求达18TB，涵盖海量地理空间样本。其核心特色在于提供与文本描述对齐的二值掩码，支持零样本分割任务，突破传统模型依赖固定类别的限制。此外，配套提供的人工验证评测基准TerraMesh-Masks-Eval，进一步提升了数据在模型评估中的可靠性与普适性。

使用方法

用户可从GitHub获取数据加载代码，并依赖PyTorch框架进行流式训练。通过build_terramesh_masks_dataset函数指定HuggingFace上的WebDataset压缩包链接，即可高效加载批次数据。完整的影像和掩码需分别从TerraMesh与TerraMesh-Masks仓库下载，并支持通过--include参数选择性获取特定模态或子集，便于灵活适配不同实验需求。

背景与挑战

背景概述

随着地球观测技术的迅猛发展，海量多模态卫星影像为环境监测、城市规划等应用提供了丰富的数据源，然而现有数据集在高分辨率遥感影像的开放词汇分割任务上面临标注成本高昂与语义覆盖有限的瓶颈。TerraMesh-Masks由IBM与欧洲空间局Φ-Lab合作，于2025年基于TerraMesh多模态地球观测数据集构建，核心研究问题在于提供大规模、带自然语言描述的二值分割掩码，以推动零样本语义分割模型在遥感领域的泛化能力。该数据集涵盖超过10M样本，采用Overture Maps与OpenStreetMap标注，其公开的评估基准TerraMesh-Masks-Eval为相关研究奠定了标准化评测基础，对推动遥感基础模型向开放世界理解演进具有重要影响。

当前挑战

TerraMesh-Masks旨在解决遥感影像开放词汇分割的领域难题：传统分割模型局限于预定义类别，无法应对卫星图像中多样化的地物类型与动态变化的语义需求，而该数据集通过图文对形式引入灵活语义解析能力，显著提升了模型对新类别与罕见地物的适应力。构建过程中亦面临多重挑战：其一，从OpenStreetMap与Overture Maps中提取并统一异构标签的语义规范需要复杂的规则引擎与人工校验；其二，生成18TB规模的掩码数据涉及高效并行处理与存储架构设计，以保障多光谱影像（如Sentinel-2 L2A）与对应掩码的精确对齐；其三，确保训练子集与人工验证的Eval基准之间的一致性与标注质量，需投入大量人力完成跨源校验。

常用场景

经典使用场景

TerraMesh-Masks数据集专为卫星影像的开放词汇分割任务而生，其核心在于提供与自然语言描述对齐的二值分割掩码。研究者可借助该数据集训练模型，使其能够根据任意文本提示（如“建筑物”、“水域”或“森林”）从遥感图像中精准分割出对应地物，无需预先定义类别标签。这一特性使其成为遥感领域中零样本语义分割与视觉-语言跨模态学习的基石性基准。

实际应用

在实际应用中，TerraMesh-Masks可赋能多种高价值场景。城市规划者能通过自然语言查询快速提取特定基础设施（如停车场、在建工地）的分布信息；环境监测机构可动态追踪非预设类别的地表变化，如非法采矿区域或新形成的湿地。灾害响应中，救援团队可依据语义指令实时提取洪水淹没范围或倒塌建筑，极大提升应急分析的灵活性与效率。

衍生相关工作

该数据集衍生出一系列推动遥感视觉-语言模型发展的经典工作。其基础数据源TerraMesh为多模态地球观测提供了大尺度拼接基准；基于此构建的TerraMesh-Masks-Eval评测基准成为评估模型泛化能力的重要标尺。研究者利用该数据集训练了具备跨区域迁移能力的零样本分割模型，并催生了将对比学习与地理空间先验结合的创新方法，为遥感基础模型的规模化预训练开辟了新路径。