Remote Sensing Image Change Instruction dataset (RSICI); Remote Sensing Image Change Preference dataset (RSICP)

RSICI与RSICP是由中国科学院计算技术研究所等机构联合构建的遥感图像变化描述专用指令与偏好数据集。该数据集规模约4万条样本，其内容基于LEVIR-CD、SYSU-CD、S2Looking和CDD等多源遥感变化检测数据，通过Qwen-VL-Max大模型结合二值掩膜几何先验自动生成精细化文本描述。数据构建过程采用算法化指令生成范式，并经过关键词过滤与专家校验确保质量，旨在为遥感图像变化描述任务提供大规模、高质量的训练与评估基准，推动大模型在环境监测、灾害评估等领域的细粒度时空理解能力突破。RSICI and RSICP are specialized instruction and preference datasets for remote sensing image change description, jointly constructed by the Institute of Computing Technology of the Chinese Academy of Sciences and other institutions. The dataset contains approximately 40,000 samples, with its content sourced from multi-source remote sensing change detection datasets including LEVIR-CD, SYSU-CD, S2Looking, and CDD. Fine-grained textual descriptions are automatically generated using the Qwen-VL-Max Large Language Model (LLM) combined with binary mask geometric priors. The dataset construction adopts an algorithmic instruction generation paradigm, and undergoes keyword filtering and expert verification to ensure data quality. It aims to provide a large-scale, high-quality training and evaluation benchmark for remote sensing image change description tasks, and promote breakthroughs in the fine-grained spatio-temporal understanding capabilities of LLMs in fields such as environmental monitoring and disaster assessment.

原始信息汇总

数据集概述

RSICCLLM 是一个用于遥感图像变化描述（Remote Sensing Image Change Captioning）的多模态大语言模型数据集。

核心任务

• 输入：双时相遥感图像（bi-temporal remote sensing images）
• 输出：对场景变化的自然语言描述

数据集状态

• 当前正在整理中，即将公开发布

代码与配套资源

该数据集对应的模型实现、训练与推理代码、评估协议以及预训练检查点将一并公开。

引用信息

bibtex @inproceedings{wang2026rsiccllm, title = {RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning}, author = {Wang, Yelin and others}, booktitle = {European Conference on Computer Vision}, year = {2026} }

搜集汇总

数据集介绍

构建方式

遥感图像变化描述任务长期受限于数据稀缺与模型容量不足。为突破这一瓶颈，RSICI与RSICP数据集基于一种创新的数据生成范式构建而成。研究者整合LEVIR-CD、SYSU-CD、S2Looking与CDD等公开数据集，利用Qwen-VL-Max多模态大模型，以双时相遥感图像及其对应的二值变化掩膜作为几何先验，引导模型聚焦于掩膜区域内的地表变迁并生成精细的文本描述。通过多轮提示、语义过滤与人工复核，共获得约4万张图像组成的RSICI指令数据集，以及2万张图像构成的RSICP偏好数据集，后者还通过信息过滤与替换式负样本构造策略生成了偏好对。

特点

RSICI与RSICP在遥感变化描述领域展现出鲜明的独特性。RSICI是目前通用场景下规模最大的变化指令数据集，平均每条描述长达77词，远超同类数据集，覆盖建筑、人工与自然等多种变化类型，并包含领域内与领域外测试集以评估泛化能力。RSICP则是该领域首个公开的偏好数据集，通过双互补负样本策略——信息过滤式选择与替换式构造——生成语义精确的正负样本对，平均描述长度达81词，使模型能够更精准地辨别变化细节。两者共同为模型提供了从指令学习到偏好对齐的全链条训练素材。

使用方法

这两个数据集专为大模型后训练流程设计。RSICI主要用于监督微调阶段：将双时相图像与相应变化掩膜输入视觉语言模型，结合差分感知模块显式提取变化表征，通过自回归目标优化模型生成变化描述的能力。RSICP则用于偏好优化阶段：基于RSICI微调后的模型，利用RSICP中的正负样本对实施双负样本偏好优化，通过对比学习进一步校准模型输出，抑制语义幻觉并提升描述的准确性与细节丰富度。研究者还建立了专门的评估基准，采用BLEU、ROUGE与语义相似度等多维指标全面评测模型表现。

背景与挑战

背景概述

遥感图像变化描述旨在生成双时相遥感影像间差异的自然语言描述，相较于仅输出视觉差异的变化检测任务，它赋予视觉证据以语义内涵，在环境评估与灾害响应等公共事务中具有重要的科学价值与应用前景。RSICI与RSICP数据集由中国科学院计算技术研究所、大湾区大学及哈尔滨工业大学（深圳）等机构的研究人员于2026年提出，核心研究问题在于如何突破传统深度学习架构在模型容量与数据稀缺性上的双重瓶颈，将大模型后训练技术引入遥感变化描述领域。该数据集首次构建了大规模指令数据集与偏好数据集，为多模态大语言模型在该任务上的适配与优化提供了关键数据基础，显著推动了遥感智能解译领域的发展。

当前挑战

遥感变化描述面临的挑战主要体现在三个层面。首先，领域问题层面，模型需精准感知双时相影像间的真实变化，同时抑制光照、季节等无关因素的干扰，并捕捉细微多样的地物演变，将其与自然语言语义对齐，任务复杂度极高。其次，构建过程中，遥感变化描述专用数据极度匮乏，已有数据集规模小、标注成本高，且缺乏偏好监督信号，制约了大模型的有效后训练。RSICI与RSICP数据集通过创新的指令数据生成范式与双重负样本构建策略，利用大规模变化检测数据自动合成指令样本并构建偏好对，有效缓解了数据稀缺难题，为模型性能突破提供了坚实的数据支撑。

常用场景

经典使用场景

在遥感图像变化描述（RSICC）领域，RSICI与RSICP数据集被广泛用于训练和评估多模态大语言模型对双时相遥感图像中地表变化的理解与生成能力。经典使用场景包括：给定同一地理区域在前后两个时刻的遥感图像，模型需生成自然语言描述，精准指出发生了何种变化（如建筑物新建、植被消失、道路拓宽等），同时排除光照、视角等无关干扰。该数据集为模型提供了高质指令样本和偏好样本，支撑研究者开展从监督微调到偏好对齐的全流程模型训练，成为推动RSICC任务从传统深度学习向大模型范式跃迁的关键数据基础。

衍生相关工作

RSICI与RSICP数据集的发布催生了一系列相关经典工作。在数据生成层面，研究者借鉴其指令数据自动化生成范式，拓展至更多遥感任务如场景分类和目标检测，构建了更大规模的多模态指令数据集。在方法层面，差异感知监督微调和双负偏好优化被广泛应用于其他时序视觉理解任务，如视频描述和医学影像变化分析，证明了其跨领域有效性。此外，RSICP作为首个RSICC偏好数据集，推动了偏好优化技术在视觉-语言模型中的深度应用，衍生出针对困难样本重加权、多视角对比学习等改进策略。这些工作共同丰富了大模型在遥感乃至通用视觉领域后训练的技术体系，促进了学术研究向更高性能和更广应用场景的持续演进。

数据集最近研究

最新研究方向

当前，遥感图像变化描述（RSICC）领域正经历从传统深度学习框架向多模态大语言模型（MLLM）范式的前沿转型。为突破数据匮乏与细粒度时序理解瓶颈，研究者提出了首个面向RSICC的大模型后训练框架RSICCLLM，并构建了大规模指令数据集RSICI与首个偏好数据集RSICP。通过引入差分感知监督微调与双负样本偏好优化技术，该工作以仅7B参数规模在多个评估指标上超越更大规模模型，显著提升了模型对双时相遥感图像中地物变化、语义转换及空间几何结构的感知与自然语言对齐能力。这一进展不仅为环境评估、灾害响应等关键应用提供了更可解释的技术支撑，也标志着遥感变化理解正加速融入多模态大模型与强化学习对齐的前沿浪潮。

相关研究论文

• RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

  中国科学院·计算技术研究所人工智能安全国家重点实验室; 大湾区大学; 哈尔滨工业大学·深圳; 东莞市智能与信息技术重点实验室 · 2026年