SEN12MS

SEN12MS数据集由慕尼黑应用科技大学和慕尼黑工业大学联合创建，包含180,662个全球分布的遥感图像补丁，涵盖所有季节。每个补丁提供Sentinel-1 SAR图像的两个极化通道和Sentinel-2光学图像的13个多光谱通道，以及四种不同的土地覆盖图。数据集设计注重多传感器数据融合，覆盖全球所有有人居住的大陆，支持地理定位信息的应用。主要应用于土地覆盖分类的语义分割，已广泛用于深度学习在多传感器遥感图像上的研究，如图像到图像的转换和土地覆盖映射。

The SEN12MS dataset was jointly created by the Munich University of Applied Sciences and the Technical University of Munich. It contains 180,662 globally distributed remote sensing image patches covering all seasons. Each patch provides two polarimetric channels from Sentinel-1 SAR imagery, 13 multispectral channels from Sentinel-2 optical imagery, as well as four distinct land cover maps. The dataset is designed with a focus on multi-sensor data fusion, covers all inhabited continents across the globe, and supports applications utilizing geolocation information. It is primarily used for semantic segmentation tasks for land cover classification, and has been widely adopted in deep learning research on multi-sensor remote sensing images, such as image-to-image translation and land cover mapping.

搜集汇总

数据集介绍

构建方式

SEN12MS数据集的构建是基于欧洲航天局Copernicus计划中Sentinel卫星免费获取的数据，以及Google Earth Engine的云计算设施。该数据集由180,662个三元组组成，每个三元组包括Sentinel-1双极化合成孔径雷达(SAR)图像块、多光谱Sentinel-2图像块和MODIS土地覆盖图。所有图像块均完全地理参考，地面采样距离为10米，覆盖所有有人居住的大陆和所有气象季节。数据集的构建过程中，首先从Sentinel-1和Sentinel-2获取SAR和光学图像，然后加入由MODIS系统获取的土地覆盖信息。为了确保图像质量，使用了Google Earth Engine进行云遮挡的Sentinel-2图像拼接，并通过人工检查筛选出高质量的图像块。

特点

SEN12MS数据集的特点在于其全面性和多样性。它不仅提供了完整的地理编码多光谱图像，而且覆盖了全球所有有人居住的大陆，涵盖了所有气象季节。此外，数据集包含了Sentinel-1的双极化SAR数据和Sentinel-2的全多光谱图像，以及由MODIS系统提供的土地覆盖信息。这些数据不仅可以用作标签进行场景分类或语义分割，还可以作为辅助数据源。数据集的多样性为深度学习模型提供了丰富的训练资源，有助于提高模型的泛化能力。

使用方法

SEN12MS数据集的使用方法包括以下几个方面：首先，用户可以从Google Earth Engine中获取云遮挡的Sentinel-2图像，并进行拼接。然后，将Sentinel-1和Sentinel-2图像以及MODIS土地覆盖图进行地理编码，并生成256×256像素大小的图像块。最后，对这些图像块进行人工检查，确保图像质量。数据集的使用者可以根据自己的需求，选择使用整个数据集或部分数据集进行训练和测试。此外，为了方便用户进行季节性分析，数据集还提供了季节性元数据。

背景与挑战

背景概述

SEN12MS数据集是一个精心策划的、包含地理参考的多光谱Sentinel-1/2影像数据集，用于深度学习和数据融合。该数据集由慕尼黑工业大学地球观测信号处理小组的M. Schmitt、L. H. Hughes、C. Qiu和X. X. Zhu于2018年创建，并于2019年9月在ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences上发表相关论文。SEN12MS数据集的核心研究问题是利用多源遥感影像提取地理信息，如场景分类或土地覆盖图的语义分割。该数据集的影响力体现在它为遥感领域提供了大规模的训练数据，这对于开发能够从多传感器遥感影像中提取地理信息的泛化深度学习方法至关重要。

当前挑战

SEN12MS数据集面临的主要挑战包括：1) 数据集虽然规模较大，但样本数量相对于计算机视觉领域的数据集如ImageNet而言仍然较少，这限制了模型的泛化能力；2) 数据集的构建过程中，需要解决遥感数据的多样性和复杂性，包括不同传感器数据之间的融合问题，以及如何有效地进行数据预处理，如斑点去除和云层影响消除；3) 数据集的全球覆盖性和季节性变化带来了数据分布不均的问题，需要开发能够适应不同地区和季节变化的学习模型。

常用场景

经典使用场景

SEN12MS数据集由Sentinel-1、Sentinel-2和MODIS陆地覆盖地图组成，为深度学习和数据融合提供了丰富多样的遥感图像。该数据集覆盖了全球所有居住的大陆，并在所有气象季节中均有所涉及，使得数据集非常适合用于开发复杂的深度学习方法，如场景分类或土地覆盖制图的语义分割。

解决学术问题

SEN12MS数据集解决了遥感领域中缺乏大规模、多样化训练数据的问题。该数据集提供了大量经过地理编码的图像，覆盖了全球所有居住的大陆，并在所有气象季节中均有所涉及，使得数据集非常适合用于开发复杂的深度学习方法，如场景分类或土地覆盖制图的语义分割。

衍生相关工作

SEN12MS数据集的发布推动了遥感领域深度学习和数据融合技术的发展，并为相关研究提供了重要的数据资源。基于SEN12MS数据集的研究成果已在土地覆盖制图、城市规划和环境监测等领域取得了显著进展，并为后续的研究工作提供了重要的参考和借鉴。