OVRSISBench

OVRSISBench是一个针对开放词汇遥感图像分割（OVRSIS）任务的统一基准，基于广泛使用的遥感分割数据集构建。该数据集包含8个代表性的遥感数据集，包括DLRSD、iSAID、Potsdam、Vaihingen、UAVid、UDD5、LoveDA和VDD，涵盖了城市布局、农业区域和高分辨率航空影像等多种场景。OVRSISBench采用开放词汇范式，要求模型根据文本描述泛化到未见过的类别。通过重新制定这些数据集，OVRSISBench保留了传统遥感任务的领域特定挑战，同时结合了开放词汇分割的灵活性和泛化需求。该基准为开放词汇分割模型在真实遥感场景下的公平、一致和可扩展评估提供了便利。OVRSISBench is a unified benchmark for the Open-Vocabulary Remote Sensing Image Segmentation (OVRSIS) task, constructed based on widely adopted remote sensing segmentation datasets. This benchmark comprises eight representative remote sensing datasets, namely DLRSD, iSAID, Potsdam, Vaihingen, UAVid, UDD5, LoveDA and VDD, covering diverse scenarios such as urban layouts, agricultural regions and high-resolution aerial imagery. OVRSISBench adopts the open-vocabulary paradigm, which requires models to generalize to unseen categories based on textual descriptions. By reformulating these datasets, OVRSISBench retains the domain-specific challenges inherent in traditional remote sensing tasks, while integrating the flexibility and generalization demands of open-vocabulary segmentation. This benchmark facilitates fair, consistent and scalable evaluation of open-vocabulary segmentation models in real-world remote sensing scenarios.

搜集汇总

数据集介绍

构建方式

在遥感图像开放词汇分割研究领域，OVRSISBench通过整合八个广泛使用的遥感分割数据集构建而成，包括DLRSD、iSAID、Potsdam等，覆盖城市布局、农业区域及高分辨率航拍影像等多样化场景。该基准采用跨数据集迁移协议，将DLRSD和iSAID作为训练集，其余数据集用于测试，确保模型在类别部分重叠的开放词汇设定下评估泛化能力。通过统一数据划分标准和开放词汇配置，既保留了遥感任务特有的领域挑战，又满足了开放词汇分割的灵活性与泛化需求。

特点

OVRSISBench的核心特征体现在其多维度评估体系与领域适应性设计上。基准涵盖不同空间分辨率、地物类型和成像条件的遥感数据，系统性地模拟了真实遥感场景中的尺度变化和旋转不变性需求。通过统计训练集与测试集的词汇重叠分布，量化验证了开放词汇设定的合理性，能够有效检验模型对未见过类别的识别能力。此外，基准支持视觉语言模型与遥感先验知识的结合评估，为分析模型在旋转、光谱多样性等遥感特性上的表现提供了标准化平台。

使用方法

使用OVRSISBench时需遵循其开放词汇评估范式，首先基于DLRSD和iSAID训练集进行模型训练，随后在全部八个测试集上验证跨场景泛化性能。评估过程采用均值交并比和均值准确率作为核心指标，确保不同方法间的公平比较。研究者可通过基准提供的统一数据接口加载多源遥感数据，结合文本描述实现开放词汇推理。该基准还支持视觉语言模型与专用遥感编码器的集成测试，便于探索领域知识注入对分割性能的影响。

背景与挑战

背景概述

遥感图像语义分割作为计算机视觉领域的重要分支，长期以来受限于固定类别标注数据的约束，难以适应动态变化的实际应用需求。在此背景下，开放词汇遥感图像分割任务应运而生，旨在突破传统封闭类别体系的限制，通过视觉语言模型的跨模态学习能力实现对未见过类别的识别。OVRSISBench由李冰玉等研究人员于2025年构建，作为首个面向开放词汇遥感分割的统一评估基准，整合了DLRSD、iSAID等八个主流遥感数据集，通过标准化实验协议推动该领域的可比性研究。该基准的建立显著促进了遥感图像理解从封闭集合到开放世界的范式转变，为智慧城市、环境监测等应用提供了重要技术支撑。

当前挑战

开放词汇遥感分割面临双重挑战：在领域问题层面，遥感图像具有独特的旋转不变性、多尺度空间上下文和光谱多样性特征，直接迁移自然图像训练的开放词汇分割模型会导致显著性能下降；在构建过程中，需要克服遥感与自然图像间的领域鸿沟，设计能够统一评估不同方法性能的基准协议。具体而言，现有方法难以有效建模遥感图像中物体的任意方向分布，且缺乏对大规模空间上下文的适应性。此外，基准构建需协调多个异构数据集的标注体系，确保开放词汇设置下训练集与测试集类别分布的合理划分，这对评估模型的泛化能力提出严峻考验。

常用场景

经典使用场景

在遥感图像分析领域，OVRSISBench作为开放词汇分割的统一评估基准，其经典应用场景聚焦于模型在未见类别上的泛化能力测试。该数据集通过整合多个广泛使用的遥感分割数据集，构建了标准化的开放词汇协议，使研究人员能够系统评估模型在跨数据集迁移设置下的性能表现。这种设置模拟了实际遥感任务中遇到新地物类别的挑战，为算法在复杂场景中的适应性提供了可靠验证平台。

衍生相关工作

基于OVRSISBench的基准评估，衍生出多个具有影响力的遥感开放词汇分割方法。RSKT-Seg框架通过旋转不变成本聚合和遥感知识迁移模块，开创性地将领域先验知识融入开放词汇分割流程。同期发展的GSNet采用专家-通用模型架构，OVRS通过基础模型改进实现领域适配，SegEarth-OV则探索了无需训练的开放词汇分割范式。这些工作共同推动了遥感视觉-语言对齐技术的前沿发展。

数据集最近研究

最新研究方向

在遥感图像分析领域，开放词汇分割（OVRSIS）作为一项新兴任务，旨在突破传统固定类别分割的局限，实现对未见过类别的灵活识别。当前研究聚焦于构建标准化评估基准以弥合自然图像与遥感图像间的领域鸿沟，OVRSISBench的提出为此提供了统一平台。前沿方向围绕领域自适应框架展开，例如RSKT-Seg通过多向旋转不变性建模、轻量级特征融合及预训练知识迁移，显著提升了模型在复杂地物场景中的泛化能力。这一进展不仅推动了遥感智能解译在动态环境监测、灾害响应等热点应用中的精准化，也为多模态视觉语言模型在垂直领域的深化落地奠定了技术基石。

相关研究论文

• 通过

  中国科学院大学,西北工业大学,中国人工智能研究院 · 2025年