REOBench

REOBench是一个用于评估地球观测基础模型鲁棒性的综合基准，涵盖了基于掩码图像建模、对比学习和视觉语言预训练范式训练的广泛模型。数据集专注于高分辨率光学遥感图像，广泛应用于城市规划、灾害响应等关键领域。该基准包括12种图像退化类型，包括基于外观和几何的扰动。数据集的构建过程包括系统地评估了众多模型，以揭示当前地球观测基础模型在实际世界扰动下的脆弱性，并为开发更鲁棒和可靠的模型提供了可操作的见解。REOBench is a comprehensive benchmark for evaluating the robustness of Earth Observation (EO) foundation models, covering a wide range of models trained under paradigms including masked image modeling, contrastive learning, and vision-language pre-training. This benchmark focuses on high-resolution optical remote sensing images, which are widely applied in critical domains such as urban planning and disaster response. It includes 12 types of image degradations, covering both appearance-based and geometry-based perturbations. The construction of this benchmark involves systematically evaluating numerous models, aiming to reveal the vulnerability of current Earth Observation foundation models under real-world perturbations and provide actionable insights for developing more robust and reliable models.

原始信息汇总

REOBench数据集概述

数据集简介

• 名称：REOBench
• 全称：Benchmarking Robustness of Earth Observation Foundation Models
• 目的：评估地球观测基础模型的鲁棒性
• 数据内容：高分辨率光学遥感图像
• 应用场景：城市规划、灾害响应等

关键特性

• 覆盖任务：6种广泛研究的遥感图像理解任务
  • 视觉中心任务
  • 视觉语言任务
• 扰动类型：12种
  • 外观损坏（如噪声、模糊、雾霾）
  • 几何畸变（如旋转、缩放、平移）
• 严重程度：不同级别

数据集获取

• 下载地址：https://huggingface.co/datasets/xiang709/REOBench
• 加载方式： python from datasets import load_dataset fw = load_dataset("xiang709/REOBench", streaming=True)

实验支持

• 语义分割：使用mmsegmentation
• 目标检测：使用mmrorate
• 分类：提供相关代码
• 视觉语言任务：提供评估代码（Caption, VQA, Visual Grounding）

许可信息

• 许可证：CC-BY-4.0
• 许可链接：https://creativecommons.org/licenses/by/4.0/deed.en

相关项目

• VRSBench
• CLAIR

引用信息

bibtex @misc{li2025reobenchbenchmarkingrobustnessearth, title={REOBench: Benchmarking Robustness of Earth Observation Foundation Models}, author={Xiang Li and Yong Tao and Siyuan Zhang and Siwei Liu and Zhitong Xiong and Chunbo Luo and Lu Liu and Mykola Pechenizkiy and Xiao Xiang Zhu and Tianjin Huang}, year={2025}, eprint={2505.16793}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2505.16793}, }

致谢

• 基于以下数据集构建：
  • AID
  • DIOR
  • VRSBench
• 使用工具：
  • mmdetection
  • mmsegmentation

搜集汇总

数据集介绍

构建方式

REOBench数据集的构建基于广泛使用的遥感数据集，包括AID（场景分类）、ISPRS Potsdam（语义分割）、DIOR（目标检测）以及VRSBench（图像描述、视觉问答和视觉定位）。这些数据集因其流行性、内容多样性和任务相关性而被精选。为确保评估的现实性和细粒度性，数据集专注于高分辨率光学遥感图像，并引入了12种合成扰动，涵盖环境、传感器诱导和几何变形三大类。每种扰动均通过物理或统计方法生成，以模拟卫星和无人机图像中常见的退化模式。

特点

REOBench数据集的特点在于其全面性和多样性。它不仅覆盖了六种核心遥感任务，还包含了12种不同类型的图像扰动，每种扰动均设置了五个严重级别。这种设计使得该数据集能够系统地评估地球观测基础模型在各种真实世界扰动下的鲁棒性。此外，数据集还特别关注高分辨率光学遥感图像，这些图像在城市规划和灾害响应等关键应用中具有广泛用途。数据集的扰动类型包括环境退化（如云层、亮度变化、雾霾）、传感器诱导退化（如高斯模糊、运动模糊、噪声）以及几何变形（如旋转、缩放、平移）。

使用方法

REOBench数据集的使用方法包括模型训练和鲁棒性评估两个主要方面。对于模型训练，用户可以利用数据集中的干净图像进行预训练或微调。在鲁棒性评估阶段，用户可以通过在扰动图像上测试模型性能，量化其在不同扰动类型和严重级别下的性能下降。具体而言，对于场景分类、语义分割和目标检测任务，用户可以使用标准评估指标（如准确率、mIoU、mAP）来衡量模型性能。对于图像描述、视觉问答和视觉定位等视觉语言任务，则采用GPT-4生成的CLAIR分数或匹配准确率进行评估。数据集的组织结构清晰，每个子集均包含训练和测试数据，并提供了详细的JSON格式注释文件，便于用户快速上手。

背景与挑战

背景概述

REOBench是由Xiang Li、Yong Tao、Siyuan Zhang等研究人员于2025年提出的首个专注于评估地球观测基础模型（EOFMs）鲁棒性的综合基准数据集。该数据集由英国雷丁大学、埃克塞特大学、德国慕尼黑工业大学等多家国际知名机构联合开发，旨在解决当前EOFMs在真实世界扰动下性能退化的问题。数据集涵盖高分辨率光学遥感影像，包含场景分类、语义分割、目标检测等六项核心任务，并模拟了12种常见图像退化类型（如噪声、模糊、几何畸变等），为遥感领域模型鲁棒性研究提供了标准化评估框架。其创新性体现在首次系统性地量化了不同预训练范式（掩码图像建模、对比学习、视觉语言预训练）下模型的抗干扰能力，对推动可靠遥感AI系统的发展具有重要意义。

当前挑战

REOBench针对两大挑战展开研究：在领域问题层面，遥感影像易受天气条件、传感器差异等因素干扰，现有EOFMs在噪声环境下性能显著下降（部分模型精度降低超20%），且不同任务（如分类任务比分割任务更敏感）、模型架构（视觉语言模型比纯视觉模型更鲁棒）对扰动的耐受性存在显著差异；在构建层面，需解决多源异构数据整合（融合AID、DIOR等不同格式数据集）、物理真实退化模拟（如基于Perlin噪声的云层遮挡建模）、跨任务评估指标统一（如同时支持像素级mIoU和语言生成CLAIR评分）等技术难点，同时需确保12种退化类型在5种严重程度下参数配置的科学性。

常用场景

经典使用场景

在遥感图像分析领域，REOBench数据集被广泛用于评估地球观测基础模型在多种任务中的鲁棒性。该数据集包含六种核心任务和十二种图像扰动类型，涵盖了从场景分类到视觉问答等多种应用场景。通过模拟真实环境中的传感器噪声和几何变形，REOBench为研究人员提供了一个标准化的测试平台，用于系统评估模型在复杂条件下的性能表现。

解决学术问题

REOBench数据集解决了地球观测基础模型在真实环境中的鲁棒性评估问题。通过引入多种扰动类型，如高斯噪声、运动模糊和几何变形，该数据集揭示了现有模型在输入扰动下的性能退化现象。研究结果表明，基于掩码图像建模的模型在局部扰动下表现尤为敏感，而视觉语言模型在多模态任务中展现出更强的鲁棒性。这些发现为开发更可靠的遥感模型提供了重要指导。

衍生相关工作

REOBench数据集衍生了一系列相关研究工作，特别是在遥感基础模型的鲁棒性改进方面。基于该数据集的评估结果，研究人员提出了多种增强模型鲁棒性的方法，包括改进的对比学习策略和多模态融合技术。此外，REOBench还启发了针对特定扰动类型的针对性研究，如针对云层遮挡和运动模糊的专门优化算法。