SEN12MS

SEN12MS数据集由慕尼黑工业大学创建，包含180,662个三元组，每个三元组包括Sentinel-1双极化SAR图像、Sentinel-2多光谱图像和MODIS土地覆盖图。数据集覆盖全球所有居住大陆，并涵盖所有气象季节，支持深度学习方法在场景分类或土地覆盖制图等任务中的应用。数据集的创建利用了Google Earth Engine进行数据准备，确保图像的精确正射校正和云自由选择。SEN12MS数据集适用于开发强大的机器学习模型，以更精细地自动分析Sentinel卫星数据，解决大规模地图应用中的分类问题。

The SEN12MS dataset was created by the Technical University of Munich, consisting of 180,662 triplets. Each triplet includes a Sentinel-1 dual-polarization SAR image, a Sentinel-2 multispectral image, and a MODIS land cover map. The dataset covers all inhabited continents worldwide and spans all meteorological seasons, supporting the application of deep learning methods in tasks such as scene classification or land cover mapping. The dataset was prepared using Google Earth Engine for data preprocessing, which ensures accurate orthorectification of images and cloud-free selection. The SEN12MS dataset is suitable for developing robust machine learning models to conduct more refined automated analysis of Sentinel satellite data and address classification challenges in large-scale mapping applications.

搜集汇总

数据集介绍

构建方式

在遥感领域，多源数据融合对提升地物解译精度具有关键意义。SEN12MS数据集的构建依托欧洲航天局哥白尼计划的Sentinel系列卫星，通过Google Earth Engine云平台高效处理全球范围数据。其核心流程包括：首先，基于随机采样策略在全球陆地区域及城市区域生成兴趣区，并关联北半球气象季节；其次，针对Sentinel-2光学影像实施复杂镶嵌工作流，结合云与阴影检测模块筛选高质量无云影像；同时，直接导出不受天气影响的Sentinel-1双极化SAR影像及MODIS土地覆盖产品。所有数据经地理编码后，统一重采样至10米空间分辨率，并转换至本地UTM坐标系以确保像元规整。最终，经专家视觉检查剔除含云层、缺失值或畸变的样本，得到180,662组影像三元组。

特点

该数据集在遥感深度学习领域展现出显著优势。其覆盖范围遍及全球所有有人居住的大陆，并涵盖完整气象季节，提供了前所未有的地理与时间多样性。数据内容上，每组样本均包含Sentinel-1双极化SAR影像、Sentinel-2全多光谱影像以及MODIS土地覆盖图，形成了丰富的多模态遥感信息源。影像斑块尺寸为256×256像素，空间分辨率统一为10米，且全部经过精确地理配准。土地覆盖标签基于四种分类方案提供，包括IGBP与LCCS体系，为场景分类与语义分割任务提供了多层次监督信息。数据规模与信息完整性使其成为当前最全面的公开遥感数据集之一。

使用方法

该数据集适用于多种遥感深度学习任务，用户可根据研究目标灵活组织数据。对于土地覆盖分类，可直接将MODIS土地覆盖图作为标签，利用Sentinel-1与Sentinel-2影像训练场景分类或语义分割模型；亦可将土地覆盖信息作为辅助数据，支持多任务学习。数据已按季节与随机种子分层存储，用户可依据地理区域或气候季节自定义训练集与测试集划分，确保模型泛化能力。使用前需注意土地覆盖标签的固有精度限制，并考虑通过标签超分辨率等方法优化监督信息。数据集以GeoTiff格式提供，支持主流地理信息工具直接读取，便于集成至现有深度学习框架进行端到端训练。

背景与挑战

背景概述

在遥感影像分析领域，大规模、高质量标注数据集的匮乏长期制约着深度学习模型的泛化能力发展。为应对这一挑战，慕尼黑工业大学与德国航空航天中心的研究团队于2019年联合发布了SEN12MS数据集。该数据集整合了欧洲航天局哥白尼计划下Sentinel-1卫星的双极化合成孔径雷达影像、Sentinel-2卫星的全波段多光谱影像，以及MODIS土地覆盖产品，形成了180,662组完全地理配准的影像三元组。其核心研究目标在于为多传感器遥感数据融合、土地覆盖分类与语义分割等任务提供标准化、全球覆盖的基准数据，从而推动遥感领域深度学习方法的创新与性能突破。

当前挑战

SEN12MS数据集旨在解决遥感影像多模态融合与土地覆盖精细分类中的核心难题。在领域问题层面，其挑战主要体现于如何有效整合光学与雷达影像的互补信息以提升模型在复杂地物识别中的鲁棒性，以及如何利用中分辨率土地覆盖标签训练出适用于高分辨率影像的精确分类模型。在构建过程中，研究团队面临了多源数据时空对齐、Sentinel-2影像云污染剔除、全球尺度样本代表性平衡，以及海量数据质量控制等系列技术挑战。这些挑战的克服，为后续大规模遥感数据集的构建提供了重要的方法论参考。

常用场景

经典使用场景

在遥感影像分析领域，SEN12MS数据集为多模态数据融合研究提供了经典范例。该数据集整合了Sentinel-1合成孔径雷达（SAR）的双极化数据、Sentinel-2多光谱影像以及MODIS土地覆盖图，形成了全球覆盖、季节齐全的影像三元组。研究者常利用其进行土地覆盖分类、场景理解等任务的模型训练与验证，尤其适用于开发能够同时处理光学与雷达数据的深度学习架构，以探索不同传感器信息在复杂地理环境中的互补特性。

解决学术问题

SEN12MS数据集有效应对了遥感深度学习研究中训练数据规模不足、模态单一且地理覆盖有限的学术挑战。通过提供超过18万组地理配准的多元数据，它支持了大规模监督学习模型的训练，显著提升了模型在土地覆盖分类、语义分割等任务中的泛化能力。该数据集弥合了传统计算机视觉数据与遥感专业数据之间的鸿沟，为多传感器信息融合、跨季节场景适应等前沿课题提供了可靠的数据基础，推动了遥感智能解译技术的理论发展。

衍生相关工作

围绕SEN12MS数据集，学术界衍生出一系列经典研究工作，主要集中在多模态融合网络架构设计与土地覆盖超分辨率制图等方面。例如，研究者利用其SAR与光学数据开发了跨模态特征提取模型，提升了多云地区地物分类的鲁棒性；同时，结合MODIS低分辨率标签进行标签超分辨率学习，实现了从粗粒度标注到细粒度预测的技术突破。这些工作不仅深化了对多源遥感数据协同机制的理解，也为后续大型遥感数据集（如BigEarthNet）的构建与应用提供了方法论借鉴。