SuperRS-VQA and HighRS-VQA
收藏资源简介：
我们为GeoLLaVA-8K引入了两个超高分辨率（UHR）视觉语言数据集：SuperRS-VQA（平均分辨率8,376×8,378）和HighRS-VQA（平均分辨率2,000×1,912），这是迄今为止最高分辨率的RS VQA数据集。总共使用了81,367个UHR图像-文本对（SuperRS-VQA + HighRS-VQA）用于GeoLLaVA-8K的监督微调。
We introduce two ultra-high-resolution (UHR) visual language datasets for GeoLLaVA-8K: SuperRS-VQA (average resolution of 8,376×8,378) and HighRS-VQA (average resolution of 2,000×1,912), which are the highest-resolution RS VQA datasets to date. A total of 81,367 UHR image-text pairs (SuperRS-VQA + HighRS-VQA) were used for the supervised fine-tuning of GeoLLaVA-8K.
GeoLLaVA-8K数据集概述
数据集基本信息
- 名称: GeoLLaVA-8K
- 类型: 超高分辨率遥感视觉语言数据集
- 分辨率:
- SuperRS-VQA: 平均8,376×8,378
- HighRS-VQA: 平均2,000×1,912
- 数据量: 81,367个图像-文本对（SuperRS-VQA + HighRS-VQA）
数据集特点
- 当前最高分辨率的遥感视觉问答数据集
- 包含手动标注和半自动生成两种数据来源
- 经过去重处理以减少与现有遥感数据集的重复
数据构建流程
- 专家标注: 12K超高分辨率样本由专家和众包工作者手动标注
- 半自动生成: 使用GPT-4o生成100K中高分辨率(2K×2K)样本
- 数据选择: 通过LESS框架进行基于影响力的数据选择
- 去重处理: 去除与现有遥感数据集的重复样本
关键发现
-
遥感图像中的低语义密度:
- 背景标记占比高达73.14%
- 修剪背景标记可能提升模型性能
-
稀缺对象标记的重要性:
- 对象标记的缺失导致性能显著下降(生成式VQA下降34.9%，判别式VQA下降24.8%)
相关资源
- 论文: https://arxiv.org/abs/2505.21375
- 模型: https://huggingface.co/initiacms/GeoLLaVA-8K
- 数据集: https://huggingface.co/datasets/initiacms/GeoLLaVA-Data
引用格式
latex @article{wang2025geollava8kscalingremotesensingmultimodal, title={GeoLLaVA-8K: Scaling Remote-Sensing Multimodal Large Language Models to 8K Resolution}, author={Fengxiang Wang and Mingshuo Chen and Yueying Li and Di Wang and Haotian Wang and Zonghao Guo and Zefan Wang and Boqi Shan and Long Lan and Yulin Wang and Hongzhen Wang and Wenjing Yang and Bo Du and Jing Zhang}, journal={arXiv preprint arXiv:2505.21375}, year={2025}, }
