CC-Foundation

CC-Foundation数据集是由北京航空航天大学创建的高质量多样化数据集，专门用于遥感图像变化描述任务。该数据集包含200,000对多时相遥感图像和120万条自然语言描述，涵盖了广泛的场景和变化类型。数据集的创建过程结合了多种开源数据集的优化、基于变化检测数据集的扩展以及领域专家的注释，确保了数据集的多样性和挑战性。CC-Foundation数据集主要应用于环境监测和灾害管理等领域，旨在通过提供精确和深入的变化描述来增强对动态地表变化的监测和理解。The CC-Foundation dataset is a high-quality and diverse dataset developed by Beihang University, specifically designed for remote sensing image change captioning tasks. This dataset contains 200,000 pairs of multi-temporal remote sensing images and 1.2 million natural language captions, covering a wide range of scenarios and change types. The development process of the dataset integrates optimization from multiple open-source datasets, expansion based on change detection datasets, and annotations from domain experts, ensuring the diversity and challenging nature of the dataset. The CC-Foundation dataset is primarily applied in fields such as environmental monitoring and disaster management, aiming to enhance the monitoring and understanding of dynamic surface changes by providing accurate and in-depth change descriptions.

原始信息汇总

CCExpert 数据集概述

数据集介绍

CCExpert 数据集是一个用于遥感变化描述的大型数据集，名为 "CC-Foundation Dataset"。该数据集旨在支持多模态语言学习模型（MLLM）在遥感变化描述任务中的能力提升。

数据集下载

数据集的部分内容已开源，可通过以下链接下载：

• Baidu NetDisk（访问码：ccmz）

数据处理步骤

1. 下载并解压数据集：从上述链接下载数据集，并解压压缩包。
2. 生成JSON文件：使用 add_sbsolute_path_to_all_json.py 脚本生成包含所有JSON数据文件的子文件夹，并将图像路径从相对路径转换为绝对路径。
3. 更新YAML文件：使用 add_CC_Foundation_local_absolute_path_to_yaml.py 脚本将CC-Foundation的绝对路径添加到模板YAML文件中，以便查找相应的JSON标注文件。

数据集使用许可

使用该数据集时，请遵守各自数据集的许可协议。

搜集汇总

数据集介绍

构建方式

CC-Foundation数据集的构建方式体现了对多样化和高质数据的追求。首先，该数据集整合了多个开源的变化描述数据集，如CLVER-Change、ImageEdit-Request、Spot-the-diff、stvchrono、Vismin和LEVIR-CC，这些数据集经过大型语言模型（如GPT-4o）的进一步精炼和优化，以提升标注的准确性和表达的多样性。其次，基于变化检测数据集（如ChangeSim和SYSU-CD），利用变化掩码作为提示，通过多轮对话生成详细的变化描述。最后，引入SECOND数据集，该数据集包含多种语义变化图像对，并由领域专家进行精细标注，以增强数据集的多样性和挑战性。

特点

CC-Foundation数据集的显著特点在于其大规模、多样性和高质量。该数据集包含200,000对图像和120万条标注，涵盖了从自然图像到遥感图像的广泛领域。通过整合和优化多个开源数据集，并结合大型语言模型和专家标注，数据集不仅在数量上达到大规模，而且在标注质量和多样性上也达到了高水平。这种多样性和高质量的标注使得数据集在支持遥感图像变化描述任务上具有显著优势。

使用方法

CC-Foundation数据集主要用于支持多模态大语言模型（MLLM）在遥感图像变化描述任务中的继续预训练。使用该数据集时，首先需要对模型进行多阶段的预训练，以确保模型能够深度整合差异感知模块和预训练的MLLM。具体步骤包括：第一阶段，仅训练差异捕捉和注入模块，冻结图像编码器和大语言模型的参数；第二阶段，解冻所有模型参数，优化语言模型对图像特征的理解和文本生成；第三阶段，在特定领域数据上进行训练，以确保模型在实际应用中达到最佳性能。通过这种三阶段的训练策略，CC-Foundation数据集能够显著提升模型在遥感图像变化描述任务中的表现。

背景与挑战

背景概述

CC-Foundation数据集由北京航空航天大学的研究团队创建，旨在推动遥感图像变化描述（RSICC）领域的发展。该数据集包含200,000对图像和120万条描述，涵盖了多种地表变化，如建筑物的新增或消失。其核心研究问题是如何利用多模态大语言模型（MLLMs）的长期序列理解和推理能力，生成自然语言描述，详细说明多时相遥感图像之间的变化。CC-Foundation数据集的构建不仅为RSICC任务提供了丰富的数据支持，还显著提升了模型在该领域的性能，推动了遥感图像变化分析技术在环境监测和灾害管理中的应用。

当前挑战

CC-Foundation数据集在构建过程中面临多重挑战。首先，如何有效地整合和优化来自多个开源数据集的数据，确保数据的高质量和多样性，是一个重要问题。其次，利用GPT-4o生成变化描述时，如何确保生成的描述准确且符合实际变化，也是一个技术难题。此外，数据集的构建需要大量的计算资源和时间，如何在有限的资源下高效地完成数据集的构建和优化，是另一个挑战。最后，如何设计有效的训练策略，确保模型能够充分利用数据集中的信息，提升其在实际应用中的表现，也是一项关键挑战。

常用场景

经典使用场景

CC-Foundation数据集在遥感图像变化描述领域中具有经典应用场景，主要用于生成多时相遥感图像之间的自然语言描述，详细描述变化对象的类别、位置和动态（如新增或消失）。该数据集通过提供高质量、多样化的图像对和相应的描述，支持多模态大语言模型（MLLMs）在遥感图像变化描述任务中的预训练和微调，从而提升模型对长序列理解和推理的能力。

解决学术问题

CC-Foundation数据集解决了当前多模态大语言模型在遥感图像变化描述任务中缺乏全面数据支持的问题。通过提供20万对图像和120万条描述，该数据集显著增强了模型的基础能力，避免了因数据不足导致的模型内在知识破坏和性能受限。这不仅提升了模型的泛化能力，还为相关领域的学术研究提供了丰富的数据资源。

衍生相关工作

基于CC-Foundation数据集，衍生了许多相关工作，包括但不限于改进的多模态大语言模型架构设计、差异感知集成模块的优化以及三阶段渐进式训练策略的研究。这些工作不仅提升了模型在遥感图像变化描述任务中的性能，还推动了多模态学习在其他跨模态任务中的应用，如图像描述和视觉问答。