GeoLangBind-2M, Sky-SA, MMRS-1M, RS5M

GeoLangBind-2M: 一个涵盖六种数据模态的大规模多模态图像文本数据集，用于开发零样本基础模型。Sky-SA: 一个细粒度的遥感解译数据集，包含183,375个带有全像素手动注释的高质量局部图像-文本对，涵盖1,763个类别标签。MMRS-1M: 一个大规模多传感器多模态遥感指令跟踪数据集，包含超过100万个图像-文本对，涵盖光学、合成孔径雷达（SAR）和红外等多传感器图像。RS5M: 一个包含500万张带有英文描述的遥感图像的图文配对数据集。

GeoLangBind-2M: A large-scale multimodal image-text dataset covering six data modalities, designed for developing zero-shot foundation models. Sky-SA: A fine-grained remote sensing interpretation dataset containing 183,375 high-quality local image-text pairs with full-pixel manual annotations, covering 1,763 category labels. MMRS-1M: A large-scale multi-sensor multimodal remote sensing instruction-following dataset comprising over one million image-text pairs, covering multi-sensor images such as optical, synthetic aperture radar (SAR), and infrared. RS5M: A paired image-text dataset containing five million remote sensing images with English descriptions.

原始信息汇总

Awesome Remote Sensing Large Model 数据集概述

视觉-语言遥感基础模型

SkyEyeGPT (2025-ISPRS)

• 论文: SkyEyeGPT: Unifying Earth Observation with Agglomerative Vision-Language Foundation Models
• 描述: 包含高质量遥感多模态指令跟踪数据集 SkyEye-968k（968k 样本），支持多粒度视觉语言理解。
• 特点: 统一多模态大型语言模型，支持图像级和区域级任务（如字幕和视觉基础）。

GeoLangBind (2025-arxiv)

• 论文: GeoLangBind: Unifying Earth Observation with Agglomerative Vision-Language Foundation Models
• 代码: GitHub
• 数据集: GeoLangBind-2M（六种数据模态的大规模多模态图像文本数据集）。
• 特点: 零样本基础模型，支持多模态数据集成和互补特征学习。

SkySense-OV (2025-CVPR)

• 论文: SkySense-OV: Towards Open-World Remote Sensing Interpretation with Vision-Centric Visual-Language Modeling
• 主页: SegEarth-OV
• 代码: GitHub
• 特点: 开放世界遥感解译，支持语义分割、建筑物提取等任务。

SkySense-O (2025-CVPR)

• 论文: SkySense-O: Towards Open-World Remote Sensing Interpretation with Vision-Centric Visual-Language Modeling
• 数据集: Sky-SA（183,375 个高质量局部图像-文本对，1,763 个类别标签）。
• 特点: 视觉语言建模，支持零样本能力。

GeoGround (2024-arxiv)

• 论文: GeoGround: A Unified Large Vision-Language Model for Remote Sensing Visual Grounding
• 代码: GitHub
• 数据集: refGeo（161k 图像文本对）。
• 特点: 支持 HBB、OBB 和掩码 RS 视觉接地任务。

EarthGPT (2024-TGRS)

• 论文: EarthGPT: A Universal Multi-modal Large Language Model for Multi-sensor Image Comprehension in Remote Sensing Domain
• 代码: GitHub
• 数据集: MMRS-1M（100 万图像-文本对，多传感器图像）。
• 特点: 统一多传感器遥感解释任务。

RS5M (2024-TGRS)

• 论文: RS5M: A Large Scale Vision-Language Dataset for Remote Sensing Vision-Language Model
• 代码: GitHub
• 数据集: RS5M（500 万遥感图像，英文描述）。
• 特点: 大规模 RS 图像文本配对数据集。

GeoChat (2024-CVPR)

• 论文: GeoChat: Grounded Large Vision-Language Model for Remote Sensing
• 代码: GitHub
• 数据集: RS 多模态指令跟踪数据集。
• 特点: 高分辨率 RS 图像的多任务对话功能。

RSGPT (2023-arxiv)

• 论文: RSGPT: A Remote Sensing Vision Language Model and Benchmark
• 代码: GitHub
• 数据集: RSICap（2,585 个人工注释字幕），RSIEval（评估基准）。
• 特点: 高质量遥感图像字幕数据集。

视觉遥感基础模型

MTP (2024-IEEE JSTARS Special issue)

• 论文: MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining
• 代码: GitHub
• 数据集: SAMRS（多任务监督预训练数据集）。
• 特点: 多任务预训练范式。

RemoteCLIP (2024-TGRS)

• 论文: RemoteCLIP: A Vision Language Foundation Model for Remote Sensing
• 代码: GitHub
• 特点: 视觉语言基础模型，支持异构注释数据扩展。

CrossEarth (2023)

• 论文: CrossEarth: Geospatial Vision Foundation Model for Domain Generalizable Remote Sensing Semantic Segmentation
• 代码: GitHub
• 特点: 跨域泛化能力，支持语义分割任务。

SkySense (2023)

• 论文: SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
• 数据集: 2150 万时间序列多模态遥感图像。
• 特点: 通用十亿级模型，支持多模态任务。

RingMo (2022-TGRS)

• 论文: RingMo: A Remote Sensing Foundation Model with Masked Image Modeling
• 数据集: 200 万张全球遥感图像。
• 特点: 生成式自监督学习框架。

搜集汇总

数据集介绍

构建方式

GeoLangBind-2M数据集的构建基于大规模多模态图像文本数据，涵盖了六种不同的地球观测（EO）数据模态。通过将异构的EO数据对齐到共享的语言嵌入空间中，该数据集实现了多模态数据的无缝集成和互补特征学习。构建过程中，采用了模态感知知识聚合（MaKA）模块和渐进式多模态权重合并策略，确保了数据的高质量对齐和模型的鲁棒性。

特点

GeoLangBind-2M数据集的特点在于其多模态性和大规模性。该数据集不仅涵盖了多种EO数据模态，还通过语言嵌入空间实现了跨模态的语义对齐。其丰富的多模态数据为模型提供了多样化的特征学习机会，使得模型能够在零样本视觉语言理解和细粒度视觉理解任务中表现出色。此外，数据集的构建策略确保了其在复杂环境监测和分析任务中的广泛应用潜力。

使用方法

GeoLangBind-2M数据集的使用方法主要围绕其多模态特性展开。研究人员可以利用该数据集进行零样本基础模型的训练，通过模态感知知识聚合模块和渐进式多模态权重合并策略，提升模型在多种EO任务中的表现。具体使用步骤包括数据预处理、模型训练和评估。通过该数据集，研究人员能够开发出适用于多种遥感任务的通用模型，并在实际应用中验证其性能。

背景与挑战

背景概述

GeoLangBind-2M、Sky-SA、MMRS-1M和RS5M等数据集是遥感领域视觉-语言基础模型研究的重要组成部分。这些数据集由慕尼黑工业大学等机构的研究团队于2025年提出，旨在通过语言作为统一媒介，弥合异构地球观测（EO）数据模态之间的差距。GeoLangBind-2M数据集涵盖六种数据模态，支持多模态图像文本对齐，推动了零样本基础模型的发展。Sky-SA数据集则专注于细粒度遥感解译，提供了高质量的局部图像-文本对。MMRS-1M和RS5M数据集则分别针对多传感器多模态遥感任务和大规模遥感图像文本配对任务，为遥感领域的多任务学习和跨模态理解提供了丰富的数据支持。这些数据集的构建标志着遥感领域从单一模态向多模态、从监督学习向零样本学习的范式转变，极大地推动了遥感基础模型的研究与应用。

当前挑战

尽管GeoLangBind-2M、Sky-SA、MMRS-1M和RS5M等数据集在遥感领域取得了显著进展，但其构建和应用仍面临诸多挑战。首先，遥感数据的多模态特性使得数据对齐和特征学习变得复杂，如何在不同传感器数据之间实现高效的知识聚合仍是一个难题。其次，零样本学习模型的性能依赖于高质量的多模态数据集，但遥感数据的标注成本高昂，且数据分布不均衡，限制了模型的泛化能力。此外，遥感场景的多样性和复杂性对模型的鲁棒性提出了更高要求，如何在开放世界场景中实现准确的视觉-语言理解仍需进一步探索。最后，大规模数据集的构建和预训练模型的优化需要巨大的计算资源，如何在资源有限的情况下高效训练和部署模型也是一个亟待解决的问题。这些挑战不仅影响了模型的性能，也限制了遥感基础模型在实际应用中的推广。

常用场景

经典使用场景

GeoLangBind-2M数据集在遥感领域的经典使用场景主要集中在地球观测（EO）数据的多模态融合与分析。通过将不同的EO数据类型对齐到共享的语言嵌入空间中，GeoLangBind-2M能够实现从光学、雷达、红外等多种传感器数据中进行互补特征学习。这种多模态融合技术使得模型能够在零样本条件下处理任意数量的EO数据通道，广泛应用于环境监测、灾害评估和土地利用分析等领域。

衍生相关工作

GeoLangBind-2M数据集衍生了一系列相关研究工作，特别是在视觉-语言遥感基础模型领域。例如，SkySense-O模型通过引入细粒度的RS解译数据集Sky-SA，进一步提升了模型的开放世界解译能力；EarthGPT则通过构建大规模多传感器多模态遥感指令跟踪数据集MMRS-1M，推动了多模态大语言模型在遥感领域的应用。这些工作共同推动了遥感基础模型的发展，为未来的研究和应用奠定了坚实基础。

数据集最近研究

最新研究方向

近年来，遥感领域的研究正逐步向多模态、跨领域的视觉-语言基础模型发展。GeoLangBind-2M、Sky-SA、MMRS-1M和RS5M等数据集的推出，标志着遥感图像与自然语言处理的深度融合。GeoLangBind-2M通过语言嵌入空间实现了异构地球观测数据的统一，显著提升了零样本学习能力。Sky-SA则通过细粒度的图像-文本对，推动了开放世界遥感解译的发展。MMRS-1M和RS5M作为大规模多模态数据集，为多传感器遥感图像的理解提供了丰富的数据支持，进一步推动了多模态大语言模型（MLLM）在遥感领域的应用。这些数据集不仅为遥感基础模型的预训练和微调提供了高质量的数据资源，还为环境监测、灾害预警等实际应用提供了强大的技术支持。