RSRCC

RSRCC是由谷歌研究院构建的遥感区域变化理解基准数据集，专注于局部语义变化的问答任务。该数据集包含12.6万条标注样本（含8.7万训练集、1.71万验证集和2.2万测试集），数据来源于LEVIR-CD卫星图像，通过半监督层次化流水线构建，包含图像对差异分析和检索增强的Best-of-N排序验证。其创新性在于首次实现了针对建筑物新建、拆除、植被变化等细粒度语义变化的区域化问答评估，为遥感场景理解提供精准的监督信号。

RSRCC is a benchmark dataset for remote sensing regional change understanding constructed by Google Research, focusing on question answering tasks for local semantic changes. This dataset contains 126,000 annotated samples, including 87,000 training samples, 17,100 validation samples, and 22,000 test samples. It is sourced from LEVIR-CD satellite imagery, built via a semi-supervised hierarchical pipeline, and incorporates image pair difference analysis and retrieval-augmented Best-of-N ranking verification. Its core innovation lies in being the first to implement regionalized question answering evaluation for fine-grained semantic changes such as building construction, demolition, and vegetation changes, providing accurate supervision signals for remote sensing scene understanding.

原始信息汇总

RSRCC 遥感区域变化理解数据集详情

数据集概述

RSRCC（A Remote Sensing Regional Change Comprehension Benchmark）是一个专为遥感影像语义变化理解而设计的数据集。由 Google Research 的 RSFM（Remote Sensing Foundation Models） 团队创建，相关论文见 RSRCC论文。

该数据集的核心目标是超越传统的二元变化检测，通过自然语言描述来解释遥感场景中发生了什么变化，涵盖新建筑、拆除、道路变化、植被变化、住宅开发等多种语义变化类型。

关键特性

• 语义变化理解：聚焦于基于语言的变化解释，而非简单的变化掩膜。
• 影像对推理：每个样本包含时间对齐的变化前/变化后影像对。
• 指令式注释：采用问答题形式的监督信号，适用于多模态推理任务。
• 多样化问题格式：包含 是/否（Yes/No） 和 多项选择（Multiple-Choice） 两种问题类型。
• 遥感场景专化：专为航空和卫星影像变化分析构建。

数据集结构

数据集分为三个标准划分：

• train/（训练集）
• val/（验证集）
• test/（测试集）

每个划分包含：

• images/：分桶存储的去重影像文件。
• metadata.csv：元数据文件，将影像对与其文本注释关联起来。

每个样本包含：

• 一张变化前影像
• 一张变化后影像
• 描述语义变化的自然语言问题与答案

注释格式示例

• 是/否类问题
  • “在交叉路口附近是否有新建的建筑？”
• 多项选择类问题
  • “图像东北部分的建筑发生了什么变化？”

预期用途

该数据集适用于以下研究方向：

• 语义变化描述（semantic change captioning）
• 遥感影像的视觉-语言推理
• 多模态问答
• 时序场景理解
• 遥感基础模型的指令微调

加载方式

可使用 Hugging Face datasets 库直接加载，推荐使用流式模式（streaming=True）以快速预览样本：

python from datasets import load_dataset

dataset = load_dataset("google/RSRCC", split="train", streaming=True)

sample = next(iter(dataset)) print(sample.keys()) print(sample["text"])

每个样本包含三个字段：

• before：变化前影像
• after：变化后影像
• text：语义问题-答案注释

补充说明

• 影像存储于分桶子文件夹中，以保证托管效率和存储限制。
• 影像文件已去重，同一场景对的不同问题共享相同的影像对。
• 元数据中的路径为相对于每个划分目录的路径。
• 数据集采用 Apache-2.0 许可证。

搜集汇总

数据集介绍

构建方式

遥感图像变化检测传统上仅定位变化区域，却无法以自然语言解释变化语义。为突破这一局限，RSRCC数据集基于LEVIR-CD图像对，采用分层半监督策展流水线构建。首先通过Transformer分割模型提取语义掩码，利用连通组件分析定位候选变化区域；继而使用遥感领域微调的SigLIP图像-文本编码器进行语义初筛；最后借助检索增强的最佳-N排序机制，由大语言模型评判歧义候选，确保保留语义一致的高置信度变化实例，最终生成12.6万道涵盖二值、多项选择与开放式形式的细粒度问答对。

特点

RSRCC数据集的核心创新在于其首个面向遥感图像精细局部语义变化推理的问答基准。与现有仅描述全局场景差异的数据集不同，其每道问题均锚定于特定语义变化实例，要求模型在区域级粒度上进行定位与推理。数据集涵盖建筑、树木、道路等18类语义变化，并专门纳入无变化负样本以增强判别难度。通过分层过滤与最佳-N排序机制，相较于纯分割或纯编码器方法，其人类标注一致性高达98%，显著提升了语义标注的精准度与可靠性。

使用方法

RSRCC数据集适用于训练和评估多模态大模型在遥感图像上的局部变化问答能力。使用方法上，用户可加载前后时相卫星图像对，配合数据集提供的封闭式二值/多项选择及开放式问题，评测模型对特定区域变化语义的理解。建议将模型输出与基准答案进行准确率、BERTScore、CIDEr等指标对比。数据集已公开在Hugging Face平台，支持直接下载用于模型微调与零样本评测，特别适合推动遥感变化理解从全局描述迈向细粒度局部推理。

背景与挑战

背景概述

遥感图像变化检测长期聚焦于像素级或对象级的变化定位，却难以用自然语言解释变化的语义内涵。尽管近年来涌现出诸如LEVIR-CC、RSCC等变化描述数据集，但它们大多立足于场景级别的全局差异概括，缺乏对细粒度、局部化语义推理的支撑。为填补这一空白，Google Research团队于2026年提出了RSRCC（Remote Sensing Regional Change Comprehension Benchmark），这是一个专为遥感变化问答设计的基准数据集，包含12.6万道问题，分为训练集、验证集和测试集。RSRCC的核心创新在于，它不再要求模型对整个图像对进行笼统描述，而是针对特定局部变化区域生成具有明确语义标签的问题，从而驱动模型进行精细化的区域级语义推理。该数据集的问世，有望将遥感变化理解从粗粒度的场景归纳推向细粒度的、区域锚定的语义解析新范式。

当前挑战

构建RSRCC所面临的首要挑战在于，传统变化检测方法虽能定位变化区域，却无法自动判别该变化属于何种语义类别，且现有人工标注方式成本高昂、难以规模化。为此，研究团队设计了一套分级半监督数据构建流程：首先利用语义分割模型提取候选变化区域，再通过遥感微调的图像-文本编码器进行快速语义筛选，最后引入检索增强的最佳N选一排序机制，对模棱两可的候选区域进行偏好引导的语义验证。该流程需有效过滤由光照、季节变化或配准误差导致的伪变化，同时保留具有真实语义意义的建筑、植被、道路等变化类别。此外，如何生成与局部变化精准对齐、且语言表达自然多样的问答对，亦是构建过程中的一大技术挑战，这要求语言模型在严格遵循视觉标签的前提下，实现句式与选项的合理多样化。

常用场景

经典使用场景

RSRCC数据集在遥感领域中最经典的应用场景是局部化、细粒度的语义变化问答任务。该数据集通过成对的前后时相卫星影像，精心设计了针对特定区域语义变化的选择题与是非题，推动模型从笼统的全局图像描述迈向对具体变化的精准推理。研究者可借助此基准验证多模态模型在回答诸如“图中某处是否新建了房屋”或“建筑变化的最显著类型为何”等细粒度问题时的表现，从而系统评估模型对视觉语义变化的深层理解能力。

衍生相关工作

RSRCC数据集的提出衍生了一系列具有启发性的经典相关工作，包括基于检索增强的视觉语言验证框架、偏好引导的最佳N采样过滤管线和半监督层次化数据筛选策略。这些工作借鉴了该基准对语义歧义的处理方法，将分割候选定位、图文编码筛选与大语言模型验证相结合，推动了变化检测从像素级描述向区域级语义理解转变。此外，后续研究亦以此为基础探索开放词汇变化标注与跨模型泛化评估。

数据集最近研究

最新研究方向

RSRCC作为首个面向遥感影像局部语义变化理解的问答基准，推动了该领域从粗粒度场景描述向细粒度、区域级推理的范式转型。其基于检索增强的Best-of-N排序层次化半监督构建管线，有效解决了传统变化检测中语义标注成本高昂与噪声过滤的瓶颈。该数据集聚焦于具体空间位置上的语义变化类型判别（如新建、拆除、植被更替），并融合了视觉定位、多模态编码与大模型偏好排序等技术，显著提升了模型在复杂地理场景下的可解释性与零样本泛化能力。RSRCC的提出为城市动态监测、灾害应急响应等应用中的高精度推理任务设立了新的评估标准，并激发了关于跨模态对齐、区域级视觉问答及半监督标注策略的前沿探索。

相关研究论文

• RSRCC: A Remote Sensing Regional Change Comprehension Benchmark Constructed via Retrieval-Augmented Best-of-N Ranking

  谷歌研究院 · 2026年