SARChat-2M

SARChat-2M是由复旦大学信息科学与技术学院构建的大型合成孔径雷达(SAR)图像多模态对话数据集，包含约200万高质量图像-文本对，覆盖海洋、陆地和城市等多种场景。该数据集支持图像分类、视觉问答、视觉定位和目标检测等视觉语言任务，并针对SAR图像特点定义了六项核心任务，包括分类、细粒度描述、实例计数、空间定位、跨模态识别和指代。数据集旨在提升视觉语言模型在SAR领域图像解释能力。

SARChat-2M is a large-scale multimodal dialogue dataset for synthetic aperture radar (SAR) images developed by the School of Information Science and Technology, Fudan University. It contains approximately 2 million high-quality image-text pairs, covering diverse scenarios including oceans, terrestrial areas and urban regions. This dataset supports various visual-language tasks such as image classification, visual question answering, visual grounding and object detection, and defines six core tasks tailored to the distinctive characteristics of SAR images, namely classification, fine-grained description, instance counting, spatial localization, cross-modal recognition and referring expression comprehension. The dataset aims to enhance the image interpretation capabilities of visual-language models in the SAR domain.

搜集汇总

数据集介绍

构建方式

SARChat-2M数据集的构建始于对SARDet-100K数据集的整合，该数据集由十个现有的SAR检测基准数据集组成，并加入了跨模态适应和增强的语言注释。数据集通过跨模态表示学习建立图像-文本对应关系，涵盖了六个语义类别（船舶、坦克、桥梁、港口、飞机和汽车），并产生了大约200万个精心标注的注释。SARChat-2M数据集包含约200万个高质量的SAR图像-文本对，覆盖了海洋、陆地和城市场景，并具有细粒度的语义描述和多尺度分辨率（0.3-10米）。通过跨模态表示学习，该数据集支持多任务学习能力，包括图像描述、VQA(视觉问答)、视觉定位和目标检测。

使用方法

SARChat-2M数据集的使用方法包括六个核心任务：分类、描述、计数、定位、识别和引用。对于每个任务，数据集都设计了相应的模板和实现逻辑，例如分类任务使用20个不同的问答模板对来评估模型的基本视觉理解能力。此外，数据集还提供了多任务监督预训练、跨领域适应和标准化指标的综合性能评估框架，有助于模型在SAR图像分析任务中的训练和评估。

背景与挑战

背景概述

合成孔径雷达(SAR)遥感图像解译领域近年来取得了显著进展，尤其是在视觉语言模型(VLMs)在自然语言处理和图像理解方面的应用。然而，由于缺乏专业领域的知识，VLMs在专业领域的应用仍然有限。为了解决这个问题，Zhiming Ma等人于2025年提出了SARChat-2M，这是一个包含大约200万高质量图像-文本对的SAR图像大型多模态对话数据集。这个数据集不仅支持视觉理解、目标检测等关键任务，还通过视觉语言数据集和基准的开发，为构建各种遥感垂直领域的多模态数据集提供了范例框架。实验结果表明，SARChat-2M数据集能够有效地验证16种主流VLMs的性能，为SAR图像解译领域的发展提供了重要的推动力。

当前挑战

SARChat-2M数据集面临的挑战主要包括：1)SAR图像固有的解释挑战，如目标边缘模糊、散斑分散和方向敏感性等；2)现有的SAR数据集主要关注视觉识别任务，缺乏大规模、高质量的图像-文本对齐数据集；3)VLMs在SAR领域的应用仍然有限，需要更多的研究和探索。为了解决这些挑战，SARChat-2M数据集采用了多模态对话数据生成方案，并通过交叉模态表示学习实现了多任务学习能力。此外，SARChat-Bench基准框架的建立也为VLMs在SAR领域的应用提供了评估标准和参考。

常用场景

经典使用场景

SARChat-2M 数据集在合成孔径雷达（SAR）图像解释领域具有广泛的应用。该数据集包含约 200 万个高质量的图像-文本对，涵盖了海洋、陆地和城市等多个场景，并具有详细的标注。这使得 SARChat-2M 成为支持多种关键任务的理想数据集，包括视觉理解和目标检测任务。此外，SARChat-2M 还具有独特的创新之处，即它为 SAR 领域开发了视觉-语言数据集和基准，使研究人员能够评估视觉语言模型（VLMs）在 SAR 图像解释方面的能力。因此，SARChat-2M 在 SAR 图像解释领域具有广泛的应用，为构建多模态数据集提供了典范框架。

解决学术问题

SARChat-2M 数据集解决了 SAR 图像解释领域的一个关键问题，即缺乏大型的、高质量的图像-文本对数据集。现有的 SAR 数据集主要集中在视觉识别任务上，而缺乏大规模的、高质量的图像-文本对数据集。这使得视觉语言模型（VLMs）在 SAR 领域的应用受到限制。SARChat-2M 数据集的构建填补了这一空白，为 SAR 领域的 VLMs 应用提供了新的可能性。此外，SARChat-2M 还为构建多模态数据集提供了典范框架，为其他遥感垂直领域的多模态数据集构建提供了参考。

实际应用

SARChat-2M 数据集在实际应用中具有广泛的应用前景。例如，在军事侦察领域，SARChat-2M 可以用于识别和定位目标，并生成详细的描述，从而为军事行动提供支持。在灾害监测领域，SARChat-2M 可以用于识别和评估灾害情况，并提供及时的预警信息。此外，SARChat-2M 还可以用于其他领域，如城市规划、环境保护等。

数据集最近研究

最新研究方向

SARChat-2M数据集的提出，标志着在合成孔径雷达（SAR）图像解读领域，视觉语言模型（VLMs）的应用取得了突破性进展。该数据集涵盖了约200万个高质量的图像-文本对，涉及海洋、陆地和城市等多个场景，并具有详细的标注。SARChat-2M不仅支持视觉理解、目标检测等关键任务，还拥有独特的创新之处：它为SAR领域构建了一个视觉语言数据集和基准，使VLMs能够在SAR图像解读中发挥能力，为构建跨不同遥感垂直领域的多模态数据集提供了范例。通过在16个主流VLMs上的实验，该数据集的有效性得到了充分验证，并在SAR领域成功建立了首个多任务对话基准。该数据集的发布将推动SAR视觉语言模型在深度开发和广泛应用方面的发展。

相关研究论文

• SARChat-Bench-2M: A Multi-Task Vision-Language Benchmark for SAR Image Interpretation

  复旦大学信息科学与技术学院、中国教育部电磁波信息科学重点实验室 · 2025年