RSRCC

RSRCC（遥感推理变化描述）数据集是一个专注于遥感图像语义变化理解的多模态数据集。该数据集通过配对的‘前后’卫星图像和自然语言问题回答，旨在支持对遥感场景中时间变化的更丰富理解。与传统的变化检测不同，RSRCC强调用自然语言描述变化的内容，例如新建建筑、拆除、道路或人行道变化、植被变化和住宅开发等。

数据集包含三个标准分割（训练集、验证集和测试集），每个分割包含图像文件夹和元数据文件。每个样本包括一张变化前的图像、一张变化后的图像以及描述语义变化的自然语言问题和答案。注释格式支持是/否和多选问题，适用于多模态时间推理任务。

RSRCC适用于语义变化描述、遥感图像视觉语言推理、多模态问答、时间场景理解以及遥感基础模型的指令调优等研究。数据集可通过Hugging Face Hub直接加载，每个样本提供三个字段：变化前图像、变化后图像和语义问题回答注释。

原始信息汇总

RSRCC 数据集概述

数据集基本信息

• 数据集名称：RSRCC (Remote Sensing Reasoning Change Captioning)
• 发布机构：Google Research 的 RSFM (Remote Sensing Foundation Models) 团队
• 官方代码库：https://github.com/google-research/remote-sensing/tree/main
• 许可证：apache-2.0
• 主要语言：英语 (en)

研究背景与目标

• 核心目标：推动遥感领域语义变化理解的研究，超越传统仅关注“变化位置”的检测，旨在用自然语言解释“发生了什么变化”。
• 任务范畴：视觉问答、图像文本到文本、多项选择。
• 应用领域：遥感、地理空间、多模态、变化检测、语义变化描述。

数据集内容与特点

• 数据构成：包含成对的“变化前”和“变化后”卫星图像，以及描述有意义变化的自然语言标注。
• 变化类型示例：新建建筑、拆除、道路或人行道变化、植被变化、住宅开发等。
• 关键特性：
  • 语义变化理解：强调基于语言对场景变化进行解释。
  • 图像对推理：每个样本包含时间对齐的前后图像对。
  • 指令式标注：包含适用于多模态推理任务的问答式监督。
  • 多样化问题格式：包含“是/否”和“多项选择”类型的问题。
  • 遥感焦点：专为航空和卫星变化分析构建。

数据集结构

• 标准划分：训练集 (train/)、验证集 (val/)、测试集 (test/)。
• 各划分内容：
  • images/：包含去重后图像文件的桶式文件夹。
  • metadata.csv：将图像对与其文本标注链接起来的元数据文件。
• 样本构成：每个样本包含一张“变化前”图像、一张“变化后”图像以及一个描述语义变化的自然语言问题和答案。

标注格式

• 元数据中的每一行对应一个时间图像对及其关联的文本标注。
• 标注旨在以支持推理导向评估的方式捕捉语义变化。
• 示例格式：
  • 是/否：例如，“交叉路口附近是否新建了结构？”
  • 多项选择：例如，“图像东北部分的建筑发生了什么变化？”

预期用途

• 语义变化描述。
• 遥感图像上的视觉语言推理。
• 多模态问答。
• 时序场景理解。
• 遥感基础模型的指令微调。

使用说明与注意事项

• 图像存储在桶式子文件夹中，以提高托管效率并适应仓库限制。
• 图像文件已去重，因此针对同一场景对的重复问题会复用相同的基础前后图像。
• 元数据路径相对于每个划分目录。
• 加载方式：可直接通过 Hugging Face Hub 的 datasets 库加载。
• 数据字段：每个样本提供三个字段：before (变化前图像)、after (变化后图像)、text (语义问答标注)。
• 建议使用 streaming=True 进行快速检查，无需下载完整划分即可读取少量样本。

引用信息

• 相关论文预印本即将发布。

搜集汇总

数据集介绍

构建方式

在遥感影像语义理解领域，RSRCC数据集的构建聚焦于从多时相影像中提取语义变化信息。该数据集通过精心配对的“前-后”时序卫星影像，结合自然语言问题与答案，形成了丰富的语义变化描述。构建过程中，研究团队采用了去重策略存储影像文件，并通过元数据文件将影像对与文本标注关联，确保了数据的高效组织与可扩展性。这种结构化的构建方式不仅支持多模态推理任务，还为遥感场景的时序理解提供了扎实的数据基础。

特点

RSRCC数据集的核心特点在于其强调语义层面的变化理解，超越了传统的二值变化检测。数据集以指令式标注为特色，涵盖了是/否与多项选择两种问题形式，旨在促进模型对遥感影像中复杂变化的推理能力。影像对经过时间对齐处理，确保了前后场景的一致性，而多样化的变化类别——如新建建筑、植被变化等——进一步丰富了数据集的语义维度。这些特点共同使RSRCC成为支持多模态远程感知研究的理想资源。

使用方法

使用RSRCC数据集时，研究人员可通过Hugging Face Hub直接加载，利用`datasets`库的流式读取功能高效访问数据。每个样本包含前影像、后影像及对应的文本标注，支持语义变化描述、视觉问答等多任务训练与评估。数据集已划分为训练、验证与测试集，便于模型开发与性能验证。通过可视化前后影像对，用户可以直观理解语义变化，进而推动遥感领域多模态基础模型的指令调优与推理能力提升。

背景与挑战

背景概述

遥感领域长期以来致力于通过多时相影像分析地表动态变化，传统方法主要聚焦于检测变化发生的位置，而语义变化描述任务则旨在以自然语言阐释变化的实质内容。RSRCC数据集由谷歌研究团队于近期提出，其核心研究问题在于推动遥感场景中语义变化理解的发展，通过配对‘前后’时序卫星影像与自然语言问答标注，构建了一个支持多模态推理的基准资源。该数据集不仅扩展了变化检测的研究维度，也为遥感视觉-语言模型提供了关键的指令调优数据，对提升地理空间智能系统的解释性具有显著影响力。

当前挑战

RSRCC数据集旨在解决遥感语义变化描述这一新兴领域问题，其挑战在于模型需同时整合视觉时序信息与语言语义，以准确推理并生成自然语言描述，这要求超越传统的二值变化掩膜，实现高层次场景理解。在构建过程中，挑战包括确保多时相影像的精确时空对齐、设计多样化的问答格式以覆盖丰富的变化类型，以及通过去重和分桶策略高效管理大规模影像数据，同时保持标注的语义一致性与逻辑严谨性。

常用场景

实际应用

在实际应用中，RSRCC数据集支持城市监测、环境评估和灾害响应等关键领域。通过自动化分析卫星影像中的语义变化，该系统能够辅助城市规划者追踪建设进展，帮助环境保护部门监测植被覆盖变化，并为应急管理机构提供灾后损毁评估，从而提升遥感技术在实际决策中的支撑作用与效率。

衍生相关工作

围绕RSRCC数据集，已衍生出一系列经典研究工作，主要集中在基于检索增强的视觉-语言模型、强化学习排序方法以及多模态指令微调技术等方面。这些工作不仅推动了语义变化描述模型的性能提升，还为遥感基础模型的开发提供了重要参考，进一步拓展了多模态遥感分析的研究边界与应用前景。