RSRCC

RSRCC（遥感推理变化描述）数据集是一个专注于遥感图像语义变化理解的多模态数据集。该数据集通过配对的‘前后’卫星图像和自然语言问题回答，旨在支持对遥感场景中时间变化的更丰富理解。与传统的变化检测不同，RSRCC强调用自然语言描述变化的内容，例如新建建筑、拆除、道路或人行道变化、植被变化和住宅开发等。 数据集包含三个标准分割（训练集、验证集和测试集），每个分割包含图像文件夹和元数据文件。每个样本包括一张变化前的图像、一张变化后的图像以及描述语义变化的自然语言问题和答案。注释格式支持是/否和多选问题，适用于多模态时间推理任务。 RSRCC适用于语义变化描述、遥感图像视觉语言推理、多模态问答、时间场景理解以及遥感基础模型的指令调优等研究。数据集可通过Hugging Face Hub直接加载，每个样本提供三个字段：变化前图像、变化后图像和语义问题回答注释。The RSRCC (Remote Sensing Reasoning and Change Description) dataset is a multimodal dataset focused on semantic change understanding of remote sensing images. Built using paired pre-change and post-change satellite images alongside natural language question-answering pairs, this dataset is designed to facilitate a more comprehensive understanding of temporal changes in remote sensing scenarios. Unlike traditional change detection, RSRCC prioritizes describing change details through natural language, including newly constructed buildings, demolitions, road or sidewalk alterations, vegetation changes, residential development, and other similar scenarios. The dataset is divided into three standard splits: training set, validation set, and test set. Each split contains image directories and metadata files. Each sample includes a pre-change image, a post-change image, natural language questions and answers that depict semantic changes, alongside the corresponding annotations. The annotation formats support both yes/no and multiple-choice questions, rendering it applicable to multimodal temporal reasoning tasks. RSRCC is applicable to a range of research fields, including semantic change description, visual-language reasoning for remote sensing images, multimodal question answering, temporal scene understanding, and instruction tuning for remote sensing foundation models. The dataset can be directly loaded through the Hugging Face Hub, with each sample providing three core fields: pre-change image, post-change image, and semantic question-answering annotations.

原始信息汇总

RSRCC 数据集概述

数据集基本信息

• 数据集名称：RSRCC (Remote Sensing Reasoning Change Captioning)
• 发布机构：Google Research 的 RSFM (Remote Sensing Foundation Models) 团队
• 官方代码库：https://github.com/google-research/remote-sensing/tree/main
• 许可证：apache-2.0
• 主要语言：英语 (en)

研究背景与目标

• 核心目标：推动遥感领域语义变化理解的研究，超越传统仅关注“变化位置”的检测，旨在用自然语言解释“发生了什么变化”。
• 任务范畴：视觉问答、图像文本到文本、多项选择。
• 应用领域：遥感、地理空间、多模态、变化检测、语义变化描述。

数据集内容与特点

• 数据构成：包含成对的“变化前”和“变化后”卫星图像，以及描述有意义变化的自然语言标注。
• 变化类型示例：新建建筑、拆除、道路或人行道变化、植被变化、住宅开发等。
• 关键特性：
  • 语义变化理解：强调基于语言对场景变化进行解释。
  • 图像对推理：每个样本包含时间对齐的前后图像对。
  • 指令式标注：包含适用于多模态推理任务的问答式监督。
  • 多样化问题格式：包含“是/否”和“多项选择”类型的问题。
  • 遥感焦点：专为航空和卫星变化分析构建。

数据集结构

• 标准划分：训练集 (train/)、验证集 (val/)、测试集 (test/)。
• 各划分内容：
  • images/：包含去重后图像文件的桶式文件夹。
  • metadata.csv：将图像对与其文本标注链接起来的元数据文件。
• 样本构成：每个样本包含一张“变化前”图像、一张“变化后”图像以及一个描述语义变化的自然语言问题和答案。

标注格式

• 元数据中的每一行对应一个时间图像对及其关联的文本标注。
• 标注旨在以支持推理导向评估的方式捕捉语义变化。
• 示例格式：
  • 是/否：例如，“交叉路口附近是否新建了结构？”
  • 多项选择：例如，“图像东北部分的建筑发生了什么变化？”

预期用途

• 语义变化描述。
• 遥感图像上的视觉语言推理。
• 多模态问答。
• 时序场景理解。
• 遥感基础模型的指令微调。

使用说明与注意事项

• 图像存储在桶式子文件夹中，以提高托管效率并适应仓库限制。
• 图像文件已去重，因此针对同一场景对的重复问题会复用相同的基础前后图像。
• 元数据路径相对于每个划分目录。
• 加载方式：可直接通过 Hugging Face Hub 的 datasets 库加载。
• 数据字段：每个样本提供三个字段：before (变化前图像)、after (变化后图像)、text (语义问答标注)。
• 建议使用 streaming=True 进行快速检查，无需下载完整划分即可读取少量样本。

引用信息

• 相关论文预印本即将发布。

搜集汇总

数据集介绍

构建方式

在遥感影像语义理解领域，RSRCC数据集的构建聚焦于从多时相影像中提取语义变化信息。该数据集通过精心配对的“前-后”时序卫星影像，结合自然语言问题与答案，形成了丰富的语义变化描述。构建过程中，研究团队采用了去重策略存储影像文件，并通过元数据文件将影像对与文本标注关联，确保了数据的高效组织与可扩展性。这种结构化的构建方式不仅支持多模态推理任务，还为遥感场景的时序理解提供了扎实的数据基础。

特点

RSRCC数据集的核心特点在于其强调语义层面的变化理解，超越了传统的二值变化检测。数据集以指令式标注为特色，涵盖了是/否与多项选择两种问题形式，旨在促进模型对遥感影像中复杂变化的推理能力。影像对经过时间对齐处理，确保了前后场景的一致性，而多样化的变化类别——如新建建筑、植被变化等——进一步丰富了数据集的语义维度。这些特点共同使RSRCC成为支持多模态远程感知研究的理想资源。

使用方法

使用RSRCC数据集时，研究人员可通过Hugging Face Hub直接加载，利用`datasets`库的流式读取功能高效访问数据。每个样本包含前影像、后影像及对应的文本标注，支持语义变化描述、视觉问答等多任务训练与评估。数据集已划分为训练、验证与测试集，便于模型开发与性能验证。通过可视化前后影像对，用户可以直观理解语义变化，进而推动遥感领域多模态基础模型的指令调优与推理能力提升。

背景与挑战

背景概述

遥感领域长期以来致力于通过多时相影像分析地表动态变化，传统方法主要聚焦于检测变化发生的位置，而语义变化描述任务则旨在以自然语言阐释变化的实质内容。RSRCC数据集由谷歌研究团队于近期提出，其核心研究问题在于推动遥感场景中语义变化理解的发展，通过配对‘前后’时序卫星影像与自然语言问答标注，构建了一个支持多模态推理的基准资源。该数据集不仅扩展了变化检测的研究维度，也为遥感视觉-语言模型提供了关键的指令调优数据，对提升地理空间智能系统的解释性具有显著影响力。

当前挑战

RSRCC数据集旨在解决遥感语义变化描述这一新兴领域问题，其挑战在于模型需同时整合视觉时序信息与语言语义，以准确推理并生成自然语言描述，这要求超越传统的二值变化掩膜，实现高层次场景理解。在构建过程中，挑战包括确保多时相影像的精确时空对齐、设计多样化的问答格式以覆盖丰富的变化类型，以及通过去重和分桶策略高效管理大规模影像数据，同时保持标注的语义一致性与逻辑严谨性。

常用场景

实际应用

在实际应用中，RSRCC数据集支持城市监测、环境评估和灾害响应等关键领域。通过自动化分析卫星影像中的语义变化，该系统能够辅助城市规划者追踪建设进展，帮助环境保护部门监测植被覆盖变化，并为应急管理机构提供灾后损毁评估，从而提升遥感技术在实际决策中的支撑作用与效率。

衍生相关工作

围绕RSRCC数据集，已衍生出一系列经典研究工作，主要集中在基于检索增强的视觉-语言模型、强化学习排序方法以及多模态指令微调技术等方面。这些工作不仅推动了语义变化描述模型的性能提升，还为遥感基础模型的开发提供了重要参考，进一步拓展了多模态遥感分析的研究边界与应用前景。