M4-SAR

M4-SAR是一个多分辨率、多极化、多场景、多源数据集，用于光学与合成孔径雷达（SAR）融合的目标检测。该数据集由南京理工大学PCA实验室、安徽大学ICSP教育部重点实验室和南开大学计算机科学学院共同构建，包含112,184对精确对齐的图像和近一百万个标注实例。数据集覆盖六个关键类别，并使用公开的光学和SAR数据，包括Sentinel-1和Sentinel-2卫星提供的数据。为了克服SAR标注的挑战，该研究提出了一种半监督的光学辅助标注策略，利用光学图像的语义丰富性来显著提高标注质量。M4-SAR数据集旨在解决现有光学和SAR数据集的局限性，为多源融合目标检测任务提供大规模、高质量、标准化的数据集，并推动相关研究的发展。M4-SAR is a multi-resolution, multi-polarization, multi-scene, and multi-source dataset for object detection via optical and Synthetic Aperture Radar (SAR) fusion. This dataset was jointly constructed by the PCA Laboratory of Nanjing University of Science and Technology, the Key Laboratory of ICSP (Ministry of Education) of Anhui University, and the School of Computer Science of Nankai University. It contains 112,184 precisely aligned image pairs and nearly one million annotated instances. The dataset covers six key categories and utilizes publicly available optical and SAR data, including data provided by Sentinel-1 and Sentinel-2 satellites. To address the challenges of SAR annotation, this study proposes a semi-supervised optical-assisted annotation strategy that leverages the semantic richness of optical images to significantly improve annotation quality. The M4-SAR dataset aims to resolve the limitations of existing optical and SAR datasets, provide a large-scale, high-quality, standardized dataset for multi-source fusion object detection tasks, and advance the development of related research.

搜集汇总

数据集介绍

构建方式

M4-SAR数据集通过多源遥感数据融合构建，整合了Sentinel-1和Sentinel-2卫星获取的光学与合成孔径雷达（SAR）图像。数据采集覆盖了天津、洛杉矶、香港和伦敦等典型沿海城市，确保地理多样性。通过半监督光学辅助标注策略，利用光学图像的丰富语义信息提升标注质量，最终形成包含112,184对精确对齐图像和近百万个定向标注实例的大规模数据集。数据处理阶段采用多视平均和滤波技术降低SAR图像的斑点噪声，并通过地理坐标对齐实现跨模态空间一致性。

特点

M4-SAR数据集具备多分辨率（10m/60m）、多极化（VV/VH）和多场景特性，涵盖桥梁、港口、油罐等六类关键目标。其核心优势包括：1）跨模态互补性，融合光学图像的纹理细节与SAR的全天候成像能力；2）密集标注特性，平均每图含8.75个实例，覆盖复杂遥感场景；3）方向敏感标注，采用旋转边界框提升目标定位精度。数据集通过严格的时空对齐（时间间隔<10天）和云覆盖率控制（<10%），确保数据质量与一致性。

使用方法

该数据集配套开源工具包MSRODet，集成CFT、CLANet等六种先进融合算法，提供标准化评估框架。典型使用流程包括：1）通过Filter Augment Module（FAM）预处理跨模态数据，缓解域差异；2）采用Cross-modal Mamba Interaction Module（CMIM）实现深度特征交互；3）利用Area-attention Fusion Module（AFM）增强局部特征判别力。实验表明，融合光学-SAR数据可使mAP提升5.7%，特别在低光照、云覆盖等复杂场景下效果显著。用户可通过统一接口加载数据、训练模型并生成旋转目标检测结果，支持多任务迁移学习。

背景与挑战

背景概述

M4-SAR数据集由南京理工大学PCA实验室、安徽大学ICSP教育部重点实验室和南开大学计算机学院的研究团队于2025年提出，是首个面向光学-SAR融合目标检测的多分辨率、多极化、多场景、多源综合性数据集。该数据集包含112,184组精确配准的光学-SAR图像对和近百万个任意朝向的标注实例，涵盖桥梁、港口、油罐、游乐场、机场和风力涡轮机等六类关键目标。通过整合Sentinel-1和Sentinel-2卫星的公开数据，并创新性地采用光学辅助半监督标注策略，M4-SAR有效解决了传统单源遥感检测在复杂环境下的性能退化问题，为多模态遥感分析建立了新的基准。

当前挑战

M4-SAR数据集面临的核心挑战体现在两个维度：在领域问题层面，需解决光学与SAR图像间的模态鸿沟问题——光学图像易受光照和天气影响，而SAR图像存在斑点噪声和语义表达局限，如何有效融合互补特征提升复杂场景下的检测精度是关键；在构建过程层面，挑战包括多源数据时空对齐困难、动态目标标注一致性维护，以及SAR图像特有的语义模糊导致的标注成本激增。此外，现有评估工具对多源旋转目标检测的支持不足，也制约了算法比较的公平性。

常用场景

经典使用场景

M4-SAR数据集在光学-SAR融合目标检测领域具有广泛的应用前景。该数据集通过整合多分辨率、多极化、多场景和多源的光学与SAR图像，为复杂环境下的目标检测提供了丰富的训练和测试资源。其经典使用场景包括在低光照、云层遮挡或低分辨率条件下，通过光学与SAR图像的互补性提升检测精度。此外，该数据集还适用于多源遥感图像的跨模态特征融合研究，为算法开发提供了标准化评估基准。

实际应用

M4-SAR数据集在灾害监测、城市规划、国防安全等实际场景中具有重要应用价值。例如，在洪涝灾害监测中，SAR数据可穿透云层获取地表信息，而光学数据提供细节纹理，融合两者可实现对受灾区域的精准评估。数据集涵盖桥梁、港口、油罐等六类关键基础设施，为实际应用中的目标识别与定位提供了多样化样本。此外，其半自动标注策略降低了SAR数据标注成本，促进了算法在资源受限场景下的部署。

衍生相关工作

围绕M4-SAR数据集，研究者已衍生出多项经典工作。例如，论文提出的E2E-OSDet框架通过滤波增强模块（FAM）和跨模态Mamba交互模块（CMIM）解决了光学-SAR域差异问题，成为该领域的基准模型。此外，配套工具包MSRODet集成了CFT、CLANet等六种先进融合方法，为后续研究提供了标准化评测平台。这些工作不仅推动了多源检测算法的发展，还启发了跨模态重建、图像去雾等相关研究方向。