XLRS-Bench

遥感（RS）图像已成为监测和理解人类环境的重要工具，推动了精准农业、城市规划和灾害评估等应用的进步。虽然最近的研究提出了评估MLLM在RS中性能的基准和指标，但这些努力在图像大小、注释方法和评估维度方面仍然有限。我们提出了XLRS-Bench，一个用于评估感知和推理能力的综合基准。

Remote sensing (RS) images have emerged as a vital tool for monitoring and understanding the human environment, driving advancements in applications such as precision agriculture, urban planning, and disaster assessment. While recent studies have proposed benchmarks and metrics for evaluating the performance of MLLMs in remote sensing, these efforts remain limited in terms of image sizes, annotation methods, and evaluation dimensions. We propose XLRS-Bench, a comprehensive benchmark for assessing perceptual and reasoning capabilities.

原始信息汇总

XLRS-Bench 数据集概述

基本信息

• 标题: Could Your Multimodal LLMs Understand Extremely Large Ultra-High-Resolution Remote Sensing Imagery?
• 作者: Fengxiang Wang, Hongzhen Wang, Zonghao Guo, Di Wang, Yulin Wang, Mingshuo Chen, Qiang Ma, Long Lan, Wenjing Yang, Jing Zhang, Zhiyuan Liu, Maosong Sun
• 机构: 国防科技大学计算机科学与技术学院, 清华大学, 武汉大学计算机学院, 北京邮电大学, 中关村研究院, 武汉大学人工智能学院
• 会议: CVPR 2025 Highlight

数据集特点

1. 超高清分辨率:

   • 平均图像尺寸为 8,500 × 8,500 像素
   • 840张图像分辨率达到 10,000×10,000 像素
   • 图像尺寸是现有数据集的 10∼20倍

2. 高质量标注:

   • 由45名专家团队手动标注和验证
   • 包含 45,942条标注，覆盖16个任务

3. 全面评估维度:

   • 10个感知指标和6个推理维度
   • 包含16个子任务，涵盖复杂推理任务如空间-时间规划与变化检测

数据来源与许可

• 数据来源:

  • DOTA (Google Earth和CycloMedia)
  • ITCVD
  • MiniFrance, HRSCD
  • Toronto, Potsdam

• 许可协议:

  • 标注数据使用 CC-BY-NC-SA-4.0 许可
  • 部分图像数据有额外使用限制（详见README）

评估流程

• 提示格式:

  • VQA任务使用标准多选格式
  • 整体土地利用分类任务允许多选

• 评估工具:

  • 集成 lmms-eval

• 排行榜:

  • 提交结果至 [e-mail]

实验结果

• 包含L-2性能、L-3感知维度、L-3推理维度、视觉定位和详细图像描述性能的评估结果

引用

tex @article{wang2025xlrsbench, title={XLRS-Bench: Could Your Multimodal LLMs Understand Extremely Large Ultra-High-Resolution Remote Sensing Imagery?}, author={Wang, Fengxiang and Wang, Hongzhen and Chen, Mingshuo and Wang, Di and Wang, Yulin and Guo, Zonghao and Ma, Qiang and Lan, Long and Yang, Wenjing and Zhang, Jing and others}, journal={arXiv preprint arXiv:2503.23771}, year={2025} }

联系方式

• Fengxiang Wang: [e-mail]
• Mingshuo Chen: [e-mail]

搜集汇总

数据集介绍

构建方式

在遥感影像分析领域，XLRS-Bench的构建体现了对超高清分辨率图像处理的前沿探索。研究团队通过整合来自DOTA、ITCVD、MiniFrance等多个权威数据源的影像数据，采用专家人工标注与多轮迭代验证相结合的方式，构建了包含45,942条标注的16项任务体系。每幅图像平均分辨率达到8,500×8,500像素，其中840幅更是达到10,000×10,000像素的极致精度，所有标注均经过45人专家团队的严格质量控制。

特点

该数据集最显著的特征在于其突破性的空间分辨率与多维评估体系。影像分辨率达到现有数据集的10-20倍，为多模态大模型提供了前所未有的细节层次。数据集创新性地设计了10项感知指标与6项推理维度，涵盖目标计数、区域分析等16个子任务，特别包含空间规划与时序变化检测等复杂推理场景。高质量的人工标注确保了评估基准的可靠性，而严格的知识产权管理机制则保障了学术使用的合规性。

使用方法

使用该数据集需遵循特定的评估流程设计。针对视觉问答任务，研究者需采用标准化的提示模板，要求模型从预设选项中选择正确答案。数据集已与lmms-eval评估框架深度集成，支持自动化性能测试。对于希望参与排行榜竞评的研究者，需按照指定格式提交模型预测结果至官方邮箱。值得注意的是，不同任务类型对应差异化的应答格式要求，例如整体土地利用分类任务允许复选应答，这要求使用者仔细阅读各子任务的评估规范。

背景与挑战

背景概述

XLRS-Bench数据集由国防科技大学、清华大学、武汉大学等机构的联合研究团队于2025年推出，旨在评估多模态大语言模型（MLLMs）在超高分辨率遥感影像中的感知与推理能力。该数据集包含平均分辨率达8,500×8,500像素的影像，其中840张影像分辨率高达10,000×10,000像素，覆盖16项任务共计45,942条专家标注数据。作为CVPR 2025亮点成果，其通过10项感知指标和6项推理维度，为精准农业、城市规划等遥感应用提供了迄今最全面的评估基准，显著推动了多模态模型在复杂空间-时间场景中的性能边界探索。

当前挑战

在解决超高分辨率遥感影像理解这一核心问题上，XLRS-Bench需应对三大挑战：模型对超大规模图像的特征提取效率与内存占用的技术瓶颈；跨模态对齐中视觉细节与语义推理的精确映射问题；以及长时序变化检测任务涉及的时空关联建模复杂性。数据集构建过程中，研究团队克服了万级像素影像标注的工程难题，通过45名专家参与的迭代验证机制确保标注质量，并创新性地整合了DOTA、ITCVD等异构数据源的版权合规性问题，最终形成覆盖16个子任务的系统性评估体系。

常用场景

经典使用场景

XLRS-Bench数据集在遥感图像分析领域具有重要地位，其经典使用场景包括对超高分辨率遥感图像的多模态理解和复杂推理任务。该数据集通过提供平均分辨率为8,500×8,500像素的图像，支持模型在精准农业、城市规划及灾害评估等场景中进行深度视觉问答（VQA）、视觉定位和详细图像描述等任务。其丰富的标注数据和多样化的任务设计，使得XLRS-Bench成为评估多模态大语言模型（MLLMs）在遥感领域性能的黄金标准。

衍生相关工作

XLRS-Bench的发布催生了一系列相关研究，尤其是在多模态大语言模型与遥感图像的结合方面。例如，基于该数据集的模型优化工作显著提升了视觉问答任务的准确率，而其在复杂推理任务中的表现也激发了更多关于空间-时间建模的研究。此外，XLRS-Bench的标注方法和评估框架被广泛借鉴，推动了遥感领域数据标准化和模型评估的进步。

数据集最近研究

最新研究方向

随着遥感技术的飞速发展，超高分辨率遥感影像在精准农业、城市规划等领域的应用日益广泛，对多模态大语言模型（MLLMs）的理解能力提出了更高要求。XLRS-Bench作为当前分辨率最高的遥感影像基准数据集，其最新研究方向聚焦于探索MLLMs在超大规模影像中的感知与推理能力。该数据集以平均8500×8500像素的超高分辨率影像为核心，涵盖16项任务和45942条专家标注，为评估模型在复杂空间时序场景下的规划与变化检测能力提供了全新平台。CVPR 2025将其列为亮点成果，凸显了该数据集在推动遥感智能分析前沿研究中的重要价值。通过引入10项感知指标和6项推理维度，XLRS-Bench正在引领多模态模型在遥感领域从基础识别向高阶认知的范式转变。