SECOND-CC

SECOND-CC数据集由伊斯坦布尔技术大学的研究团队创建，专为遥感图像变化描述任务设计。该数据集包含6041对高分辨率RGB图像对、语义分割图以及30205条描述图像差异的句子，涵盖了多种真实场景，如模糊、光照差异、视角变化和图像配准误差等挑战。数据集通过语义分割图和RGB图像的结合，提供了丰富的多模态信息，旨在解决遥感图像变化描述中的复杂问题。该数据集的应用领域包括灾害响应、城市规划、环境监测等，能够为这些领域提供详细的变化描述和及时的行动建议。The SECOND-CC dataset was created by a research team from Istanbul Technical University, and is specifically designed for the task of remote sensing image change captioning. This dataset includes 6041 pairs of high-resolution RGB images, semantic segmentation maps, and 30205 sentences describing image differences, covering diverse real-world scenarios with challenges such as blurriness, lighting variations, viewpoint changes, and image registration errors. By integrating semantic segmentation maps and RGB images, the dataset offers rich multimodal information, aiming to address complex problems in remote sensing image change captioning. Its application domains cover disaster response, urban planning, environmental monitoring and other fields, and it can provide detailed change descriptions and timely action recommendations for these scenarios.

搜集汇总

数据集介绍

构建方式

SECOND-CC数据集的构建基于高分辨率RGB图像对和语义分割图，涵盖了6041对双时相遥感图像，并生成了30205条描述图像差异的自然语言句子。数据集的图像来自杭州、成都和上海等城市，捕捉了多种地形变化和干扰因素，如图像分辨率差异、视角变化、对比度和亮度差异等。语义分割图标注了六种土地覆盖类别，包括低植被、非植被地表、树木、水体、建筑物和游乐场。此外，数据集通过人工标注生成了详细的文本描述，确保了数据的多样性和复杂性。

特点

SECOND-CC数据集的特点在于其多样性和挑战性。数据集不仅包含高分辨率RGB图像对，还提供了语义分割图，能够从像素级别标注变化区域。图像对涵盖了真实世界中的多种复杂场景，如光照差异、视角变化、模糊效应和图像配准误差等。此外，数据集的文本描述具有较高的句法多样性，平均句子长度为10.40个词，词汇量达到1060个词，要求模型处理更复杂的句法和语义模式。数据集还通过数据增强技术生成了SECOND-CC AUG版本，进一步提升了模型的鲁棒性。

使用方法

SECOND-CC数据集的使用方法主要包括多模态特征融合和变化描述生成。数据集可用于训练和评估遥感图像变化描述模型，如MModalCC框架。该框架通过交叉模态交叉注意力（CMCA）和多模态门控交叉注意力（MGCA）机制，有效融合RGB图像和语义分割图的信息。模型首先通过编码器提取图像特征，然后通过特征增强模块捕捉跨模态和单模态关系，最后通过解码器生成自然语言描述。数据集还可用于对比实验，评估不同模型在变化描述任务中的性能，如BLEU、CIDEr等指标。

背景与挑战

背景概述

SECOND-CC数据集由土耳其伊斯坦布尔耶尔德兹技术大学的Ali Can Karaca等研究人员于2025年提出，旨在解决遥感图像变化描述（RSICC）任务中的关键问题。该数据集包含6,041对高分辨率RGB图像及其语义分割图，并提供了30,205条描述图像间变化的自然语言句子。SECOND-CC的创建是为了应对现有方法在光照差异、视角变化、模糊效应以及图像配准错误等挑战下的不足，特别是在无变化区域的误判问题。该数据集通过引入多模态数据（RGB图像和语义图）以及真实场景的多样性，显著推动了遥感图像变化描述领域的研究。

当前挑战

SECOND-CC数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，遥感图像变化描述任务需要准确捕捉图像间的细微变化，并生成自然语言描述，然而光照差异、视角变化、模糊效应以及图像分辨率不一致等问题常常导致描述不准确。其次，在数据集构建过程中，研究人员需要处理图像配准错误、多分辨率图像的融合以及语义图的精确标注等复杂问题。此外，生成高质量的自然语言描述需要大量的人工标注，且需确保描述的多样性和准确性，这对数据集的构建提出了更高的要求。

常用场景

经典使用场景

SECOND-CC数据集在遥感图像变化描述（RSICC）领域中被广泛用于训练和评估多模态变化描述模型。其高分辨率的RGB图像对和语义分割图为模型提供了丰富的视觉和语义信息，帮助模型更好地理解图像中的变化。该数据集特别适用于处理复杂场景下的变化描述任务，如光照差异、视角变化和图像模糊等问题。

衍生相关工作

SECOND-CC数据集的推出催生了一系列相关研究工作，特别是在多模态变化描述模型的开发方面。基于该数据集，研究者提出了多种创新模型，如MModalCC框架，该框架通过交叉模态注意力机制和多模态门控注意力机制显著提升了变化描述的性能。此外，该数据集还推动了RSICCformer、Chg2Cap和PSNet等模型的改进，进一步推动了遥感图像变化描述领域的发展。

数据集最近研究

最新研究方向

近年来，SECOND-CC数据集在遥感图像变化描述（RSICC）领域引起了广泛关注。该数据集通过提供高分辨率的RGB图像对和语义分割图，解决了传统方法在光照差异、视角变化和图像模糊等挑战下的不足。SECOND-CC数据集不仅包含了6041对双时相遥感图像，还提供了30,205条描述图像差异的自然语言句子，极大地推动了多模态学习在遥感领域的应用。最新的研究方向集中在多模态框架的优化上，特别是通过引入跨模态交叉注意力机制（CMCA）和多模态门控交叉注意力机制（MGCA）来提升模型的表现。这些技术显著提高了模型在复杂场景下的变化描述能力，尤其是在处理细微变化和大规模场景时表现出色。此外，SECOND-CC数据集的公开也为未来的研究提供了宝贵的资源，推动了遥感图像变化描述技术的进一步发展。

相关研究论文

• Robust Change Captioning in Remote Sensing: SECOND-CC Dataset and MModalCC Framework

  伊斯坦布尔技术大学 · 2025年