ibm-esa-geospatial/TerraMesh-Masks-Eval

TerraMesh-Masks-Eval是一个人类验证的基准数据集，用于评估卫星图像上的开放词汇分割模型。该数据集提供二进制分割掩码和标题，以及来自TerraMesh的输入样本。数据集包含测试集，数据以tif文件形式存储，适用于图像特征提取等任务。数据来源于多个数据源，包括卫星图像、LULC数据和DEM数据等。

TerraMesh-Masks-Eval is a human-verified benchmark dataset to evaluate open-vocabulary segmentation models on satellite imagery. This dataset provides binary segmentation masks with captions together with input samples from TerraMesh. The dataset includes a test set, with data stored as tif files, and is suitable for tasks such as image feature extraction. The data is sourced from multiple sources, including satellite imagery, LULC data, and DEM data.

搜集汇总

数据集介绍

构建方式

TerraMesh-Masks-Eval数据集源于对TerraMesh多模态遥感影像的深度加工与人工校准。其构建流程首先基于Overture Maps与OpenStreetMap的基础地理图层，通过自动化算法生成初始的二值分割掩码，随后由领域专家进行逐样本审核与修正，确保标注的准确性与语义一致性。每个样本以GeoTIFF格式存储，并关联描述性文本，形成图文对齐的评估单元。该数据集致力于提供高置信度的基准测试素材，以支撑开放词汇分割模型在卫星影像上的零样本泛化能力评估。

特点

该数据集的核心特征在于其兼具多模态与人工验证的双重属性。数据集合成了Sentinel-2多光谱、Sentinel-1雷达、数字高程模型等多源遥感数据，并统一提供真彩色RGB与二值掩码。与常规训练集不同，TerraMesh-Masks-Eval特别强调人工参与的质控环节，所有掩码均经过人工校验，降低了自动标注的噪声风险。此外，样本配以自然语言描述，契合视觉-语言模型的跨模态推理需求，使其成为衡量零样本分割方法鲁棒性与迁移性的关键性评估基准。

使用方法

使用者可通过Hugging Face CLI工具高效获取数据，并使用配套的GitHub代码仓库快速搭建加载流程。推荐采用PyTorch DataLoader与webdataset库实现流式读取，降低内存占用。在调用构建函数时，可灵活选择所需模态组合，例如仅加载S2RGB影像与BINARY_MASK用于视觉分割任务。由于数据以tar归档与元数据表形式组织，亦支持直接解压后按常规图像处理管线访问，适配不同开发习惯与计算环境。

背景与挑战

背景概述

TerraMesh-Masks-Eval是一个由IBM和欧洲空间局（ESA）Φ-Lab联合开发、于2025年发布的人验证基准数据集，旨在评估卫星影像上的开放词汇分割模型。该数据集源自TerraMesh多模态地球观测镶嵌图，为每个样本提供二进制分割掩码及其对应的文本描述。作为零样本分割领域的里程碑式资源，它推动了地理空间智能从封闭语义标注向开放词汇理解的范式转变，显著提升了模型对未见类别和复杂地物场景的泛化能力，为遥感图像分析、城市规划及环境监测等领域的研究提供了关键评估工具。

当前挑战

该数据集主要解决两大挑战。在领域问题层面，现有分割模型依赖预定义类别，无法识别未见地物，而开放词汇分割需要模型能够从语言描述中推断语义，这对卫星影像中地物几何形态多变、尺度差异显著且光谱特征混杂的场景构成极大考验。在构建过程中，需从TerraMesh海量多模态数据中筛选匹配样本，人工验证掩码准确性并确保与OpenStreetMap标注的兼容性；同时，多源影像（如Sentinel-1/2、DEM）的配准偏差与缺失值处理增加了数据一致性的维护难度，最终形成了仅包含数百样本的精选评估集以平衡质量与可用性。

常用场景

经典使用场景

TerraMesh-Masks-Eval 作为经过人工验证的基准数据集，专为评估卫星图像上的开放词汇分割模型而设计。该数据集将 TerraMesh 多模态遥感样本与精细的二进制分割掩码及文本描述配对，为语义分割任务提供了高质量的标准化评估平台。研究者通常利用该数据集测试模型在未见过的地理空间场景和零样本条件下的分割能力，尤其关注模型对自然语言指令的理解与像素级预测的协同表现。其典型使用方式涉及加载 Sentinel-2 多光谱影像、合成孔径雷达数据或数字高程模型，并与对应的二进制掩码进行联合评估，从而衡量模型在复杂遥感环境中的泛化性能。

解决学术问题

该数据集主要解决了遥感领域中开放词汇分割模型缺乏统一、可信评估基准的学术难题。传统遥感分割基准通常局限于固定类别集合，无法反映模型对动态变化的地物类别的适应能力。TerraMesh-Masks-Eval 通过引入人工验证的二进制掩码与文本描述，为评估模型从自然语言到像素预测的跨模态推理提供了可靠的参照标准。这推动了零样本分割理论在地球观测技术中的应用研究，使学术界能够定量分析模型在未见类别、多样化地貌和跨传感器数据上的表现，进而深入揭示模型在语义理解与空间定位之间的权衡机制，为构建更具通用性的遥感智能解译系统奠定了方法论基础。

衍生相关工作

TerraMesh-Masks-Eval 衍生了多个具有代表性的学术与工程成果。其基础数据来源 TerraMesh 已发表于 CVPR 2025 研讨会，该研究首次构建了覆盖全球的多模态遥感影像镶嵌数据集，为后续分割、分类与检索任务提供了丰富的训练与测试素材。基于此评估基准，研究者进一步提出了面向开放词汇遥感分割的联合训练框架，探索了文本驱动下跨传感器语义对齐的新范式。此外，该数据集还催生了一系列关于零样本分割模型架构改进的工作，例如在视觉-语言模型中引入地理先验知识或设计适应多尺度遥感特征的解码策略，相关成果陆续发表于遥感与计算机视觉顶级会议，推动了地球观测人工智能领域的标准化与可复现性发展。