3MOS

3MOS数据集由国防科技大学创建，包含155,000对光学-SAR图像，涵盖6个商业卫星的数据，分辨率从1.25米到12.5米不等。数据集根据地形特征分为8个场景，包括城市、农村、平原、丘陵、山脉、水域、沙漠和冻土。该数据集旨在推动多模态图像匹配方法的发展，特别是在图像融合和视觉导航领域的应用。创建过程中，数据收集自不同卫星和Google Earth，经过预处理、手动注册、分割、场景分类和质量检查。3MOS数据集适用于评估和改进光学-SAR图像匹配算法，特别是在不同场景和分辨率下的性能。

The 3MOS Dataset was created by the National University of Defense Technology. It contains 155,000 pairs of optical-SAR images, covering data from 6 commercial satellites with resolutions ranging from 1.25 meters to 12.5 meters. The dataset is categorized into 8 terrain-based scenarios, including urban, rural, plain, hill, mountain, water body, desert, and permafrost. This dataset aims to promote the development of multimodal image matching methods, especially their applications in the fields of image fusion and visual navigation. During the dataset's creation, data was collected from various satellites and Google Earth, and underwent preprocessing, manual registration, segmentation, scene classification, and quality inspection. The 3MOS Dataset is suitable for evaluating and improving optical-SAR image matching algorithms, particularly their performance across different scenarios and resolution ranges.

搜集汇总

数据集介绍

构建方式

3MOS数据集的构建过程分为五个主要步骤。首先，从六颗商业卫星和Google Earth收集原始图像数据，并对SAR图像进行地形校正、灰度拉伸和量化，将光学图像进行地理配准和量化。其次，通过手动选择控制点进行图像配准，确保图像对齐的准确性。然后，根据空间距离将图像裁剪成小块，以便于模型训练和测试。接下来，利用NASADEM数据和Sentinel-2土地覆盖数据将图像场景分为城市、乡村、平原、丘陵、山脉、水域、沙漠和冻土八个类别。最后，进行手动检查以去除无效区域，并将数据集随机划分为训练集、验证集和测试集，以便于评估模型在不同卫星、分辨率和场景下的匹配性能。

特点

3MOS数据集具有以下几个显著特点。首先，它包含来自六颗商业卫星的SAR数据，具有多种空间分辨率，范围为1.25米至12.5米。其次，数据集已被分类为八个场景，包括城市、乡村、平原、丘陵、山脉、水域、沙漠和冻土，从而增强了训练数据的多样性和测试的特异性。此外，3MOS数据集在图像配准方面具有高精度，并且数据分布不均匀，这为光学-SAR图像匹配中的领域自适应提出了挑战。

使用方法

3MOS数据集的使用方法如下。首先，用户可以从提供的链接下载数据集和代码。其次，用户可以使用数据集中的图像对进行模板匹配实验，评估不同方法在不同卫星、分辨率和场景下的匹配性能。此外，用户可以使用MFN等深度学习模型进行训练和测试，探索深度学习方法在光学-SAR图像匹配中的应用。最后，用户还可以根据需要将数据集划分为不同的子集，以便于进行更深入的研究和应用。

背景与挑战

背景概述

光学-合成孔径雷达（Optical-SAR）图像匹配是图像融合和视觉导航的基础任务。然而，现有的用于方法开发的大型开放SAR数据集都来自单一平台，导致卫星类型和空间分辨率有限。由于不同传感器捕获的图像在几何和辐射度量外观上存在显著差异，现有方法可能无法匹配包含相同内容的对应区域。此外，大多数现有数据集并未根据不同场景的特征进行分类。为了鼓励设计更具通用性的多模态图像匹配方法，我们引入了一个名为3MOS的大型光学-SAR图像匹配数据集。该数据集包含15.5万对光学-SAR图像，包括来自六个商业卫星的SAR数据，分辨率范围为1.25m至12.5m。数据已根据八个场景进行分类，包括城市、乡村、平原、丘陵、山脉、水域、沙漠和冻土。广泛实验表明，现有的最先进方法在不同来源、分辨率和场景中都无法实现始终如一的高性能。此外，数据的分布对深度学习模型的匹配能力有重大影响，这提出了光学-SAR图像匹配中的域适应挑战。我们的数据和代码将在以下网址提供：https://arxiv.org/abs/2404.00838

当前挑战

3MOS数据集提出了以下几个挑战：1）由于不同传感器捕获的图像在几何和辐射度量外观上存在显著差异，因此难以匹配包含相同内容的对应区域。2）由于现有数据集大多来自单一平台，导致卫星类型和空间分辨率有限，因此难以训练出具有强鲁棒性和域适应能力的匹配算法。3）现有数据集并未根据不同场景的特征进行分类，因此难以设计出适用于不同场景的匹配算法。4）由于光学-SAR图像匹配中的域适应挑战，需要解决深度学习模型在不同数据来源和分辨率上的匹配性能下降问题。

常用场景

经典使用场景

3MOS数据集为光学与合成孔径雷达(SAR)图像匹配提供了一个丰富的资源，其经典使用场景包括多源卫星图像融合、飞机导航以及视觉导航。在多源卫星图像融合领域，由于不同卫星具有不同的成像特性和优势，融合多模态数据可以弥补单个卫星观测能力的不足。而在飞机导航和视觉导航中，通过将飞机实时捕获的SAR图像与预先加载的包含地理参考信息的光学参考图像进行匹配，可以实现高精度视觉导航。3MOS数据集涵盖了多种卫星、多种分辨率和多种场景，能够有效地增强训练数据的多样性和测试的针对性，为这些应用提供了强有力的支持。

衍生相关工作

3MOS数据集的发布，为光学-SAR图像匹配领域的研究提供了新的契机，并衍生出许多相关的研究工作。例如，基于3MOS数据集，研究人员可以开发更精确的图像匹配算法，研究不同场景、不同分辨率和不同卫星数据对图像匹配的影响，探索深度学习模型在光学-SAR图像匹配中的应用，以及解决深度学习模型的领域适应性问题等。这些研究工作将进一步推动光学-SAR图像匹配领域的发展，并为相关应用提供更强大的技术支持。

数据集最近研究

最新研究方向

光学-合成孔径雷达图像匹配作为图像融合和视觉导航的基础任务，其研究正朝着构建更具通用性和鲁棒性的多模态图像匹配方法方向发展。3MOS数据集的引入为这一领域的研究提供了新的契机，该数据集涵盖了多种卫星源、多种分辨率和多种场景的光学-合成孔径雷达图像对，为研究人员提供了更加丰富的数据资源。3MOS数据集的出现，推动了光学-合成孔径雷达图像匹配算法在多源卫星图像融合和飞机导航等领域的应用，并揭示了现有算法在不同场景、不同分辨率和不同卫星数据上的局限性。未来研究将聚焦于解决多模态图像匹配中的领域自适应问题，并探索更有效的特征提取和匹配策略，以提升算法在复杂场景下的匹配性能。

相关研究论文

• 3MOS: Multi-sources, Multi-resolutions, and Multi-scenes dataset for Optical-SAR image matching

  国防科技大学 · 2024年