REOBench

REOBench是一个全面的基准测试，旨在评估地球观测基础模型的鲁棒性。我们的基准测试系统地评估了广泛的流行基础模型的鲁棒性，包括基于掩码图像建模、对比学习和大型语言模型的最先进模型。REOBench专注于高分辨率光学遥感图像，这些图像广泛应用于城市规划、灾害响应等现实世界应用中。我们在六种广泛研究的遥感图像理解任务上进行了实验，涵盖了视觉中心和视觉语言任务，在十二种类型的扰动下进行。这些包括外观基础的损坏（例如噪声、模糊、雾霾）和几何扭曲（例如旋转、缩放、平移），应用不同的严重程度以模拟现实环境和传感器引起的挑战。REOBench is a comprehensive benchmark designed to evaluate the robustness of Earth Observation fundamental models. Our benchmark systematically assesses the robustness of a wide range of popular fundamental models, including state-of-the-art models based on masked image modeling, contrastive learning, and large language models. REOBench focuses on high-resolution optical remote sensing images, which are extensively used in real-world applications such as urban planning and disaster response. We conducted experiments on six widely studied remote sensing image understanding tasks, covering both visual and visual language tasks, under twelve types of disturbances. These include appearance-based damage (e.g., noise, blur, haze) and geometric distortion (e.g., rotation, scaling, translation), applied at different severity levels to simulate challenges posed by real-world environments and sensors.

原始信息汇总

REOBench数据集概述

数据集简介

• 名称：REOBench
• 全称：Benchmarking Robustness of Earth Observation Foundation Models
• 目的：评估地球观测基础模型的鲁棒性
• 数据类型：高分辨率光学遥感图像
• 应用领域：城市规划、灾害响应等

关键特性

• 评估范围：覆盖6种广泛研究的遥感图像理解任务
• 任务类型：视觉中心任务和视觉语言任务
• 扰动类型：12种扰动类型（包括外观和几何失真）
• 扰动级别：多种严重程度级别

数据集结构

• 语义分割：使用mmsegmentation进行实验
• 目标检测：使用mmrorate进行实验
• 分类：提供分类实验细节
• 视觉语言任务：包括图像描述、视觉问答和视觉定位

获取与使用

• 下载地址：https://huggingface.co/datasets/xiang709/REOBench
• 加载代码： python from datasets import load_dataset fw = load_dataset("xiang709/REOBench", streaming=True)

许可信息

• 许可证类型：CC-BY-4.0
• 许可链接：https://creativecommons.org/licenses/by/4.0/deed.en

相关项目

• VRSBench：多功能视觉语言基准数据集
• CLAIR：基于GPT的自动图像描述评估工具

引用信息

bibtex @inproceedings{livrsbench, title={VRSBench: A Versatile Vision-Language Benchmark Dataset for Remote Sensing Image Understanding}, author={Li, Xiang and Ding, Jian and Elhoseiny, Mohamed}, booktitle={The Thirty-eight Conference on Neural Information Processing Systems Datasets and Benchmarks Track} }

致谢

• 基础数据集：AID、DIOR、VRSBench
• 使用工具：mmdetection、mmsegmentation

搜集汇总

数据集介绍

构建方式

在遥感影像分析领域，REOBench数据集的构建采用了系统性工程方法，通过整合AID、DIOR和VRSBench等权威遥感数据集，构建了多任务评估框架。研究团队精心设计了12类扰动类型，包括运动模糊、噪声干扰等表观畸变和旋转缩放等几何变形，并设置五级严重程度梯度，模拟真实环境中的传感器噪声和大气干扰。数据标注涵盖六大遥感典型任务，采用mmsegmentation和mmdetection等专业工具进行标准化处理，确保评估基准的科学性。

特点

作为首个专注于地球观测基础模型鲁棒性评估的基准数据集，REOBench具有显著的多维特性。其核心价值在于同时支持视觉中心任务（如语义分割、目标检测）和视觉-语言跨模态任务（如图像描述、视觉问答）的评估。数据集包含高分辨率光学遥感影像，通过分层采样的扰动组合，形成超过常规基准的测试维度。特别设计的渐进式干扰强度可量化模型抗干扰能力，而统一的CC-BY-4.0许可协议则保障了学术使用的开放性。

使用方法

该数据集通过Hugging Face平台提供标准化访问接口，用户可通过datasets库的streaming模式实现高效数据流加载。针对不同任务需求，项目分别提供mmsegmentation、mmrotate等专业框架的适配接口，并在VRSBench模块中集成视觉-语言模型的评估工具链。研究人员可灵活调用预定义的扰动测试集，通过修改config文件快速构建自定义实验方案。所有评估代码均采用模块化设计，支持与主流深度学习框架的无缝对接。

背景与挑战

背景概述

REOBench是由Xiang Li等研究人员于2025年5月推出的地球观测基础模型鲁棒性评估基准数据集。该数据集由慕尼黑工业大学、武汉大学等机构联合开发，旨在系统评估掩码图像建模、对比学习和大语言模型等前沿技术构建的遥感基础模型。作为首个专注于高分辨率光学遥感影像的综合性基准，REOBench覆盖城市规划和灾害响应等实际应用场景，通过六类遥感图像理解任务和十二种扰动类型，为地球观测领域提供了标准化的模型性能评估框架。其创新性在于同时考虑了外观性退化（如噪声、雾霾）和几何畸变（如旋转、缩放）等复杂干扰因素，显著推动了遥感智能解译技术的发展。

当前挑战

REOBench针对地球观测领域面临的核心挑战，即复杂环境干扰下模型泛化能力不足的问题。数据集构建过程中需克服多源异构数据融合的困难，包括协调AID、DIOR等不同来源遥感数据的标注标准和空间分辨率。技术层面需精确模拟大气散射、传感器噪声等12类现实扰动，并设计五级严重程度梯度以评估模型退化规律。在评估体系设计上，需平衡视觉分类、目标检测等传统任务与视觉问答、视觉定位等跨模态任务的需求，这对基准的全面性和可扩展性提出了极高要求。

常用场景

经典使用场景

在遥感图像处理领域，REOBench数据集为评估地球观测基础模型的鲁棒性提供了标准化测试平台。该数据集通过模拟真实环境中的12种扰动类型，包括运动模糊、噪声干扰等外观变化以及旋转、缩放等几何畸变，系统性地检验模型在六种典型遥感任务中的表现。高分辨率光学遥感图像在基准测试中的广泛应用，使得该数据集成为验证模型在复杂条件下泛化能力的黄金标准。

实际应用

该数据集直接服务于城市规划和灾害应急响应等关键领域。在智慧城市建设中，基于REOBench优化的模型能可靠识别受天气影响的建筑轮廓；在灾害监测场景下，经过扰动测试的算法可准确检测雾霾环境中的损毁道路。数据集模拟的真实退化条件，显著提升了模型在卫星图像解译、环境动态监测等实际应用中的稳定性。

衍生相关工作

REOBench的构建催生了多项遥感基础模型的创新研究。以VRSBench为代表的视觉-语言基准测试扩展了多模态评估维度，CLAIR项目则基于该数据集开发了自动化的图像描述评估系统。相关研究在NeurIPS等顶会形成系列成果，推动建立了从单任务鲁棒性分析到跨模态适应性研究的完整方法论体系。