EarthShift

EarthShift是第一个公开的测试平台，用于基准测试地理空间基础模型在遥感中遇到的多种现实分布偏移下的鲁棒性。它通过配对的数据集（如地理位置、时间窗口、传感器、数据源和空间尺度）来衡量模型在分布内和分布外的性能，覆盖8个地理空间基础模型和11个任务，揭示模型在分布外性能平均下降约20%。数据集包括RESISC45、UCMerced、DeepGlobe等，并提供了详细的许可证信息。EarthShift is the first open-access benchmarking platform for evaluating the robustness of geospatial foundation models against various real-world distribution shifts encountered in remote sensing. It assesses model performance on both in-distribution and out-of-distribution data through paired datasets (e.g., geographic location, temporal window, sensor, data source, and spatial scale), covering 8 geospatial foundation models and 11 tasks, and reveals that the average out-of-distribution performance of these models drops by approximately 20%. The dataset suite includes RESISC45, UCMerced, DeepGlobe, and other relevant datasets, with detailed license information provided.

原始信息汇总

数据集概述：EarthShift Testbed

EarthShift 是一个公开的测试平台，用于评估地理空间基础模型（GFMs）在遥感领域多种现实分布偏移下的鲁棒性。

核心目标与动机

• 弥补评估缺口：现有遥感基准主要衡量模型在 同分布 数据上的泛化能力，但实际部署时模型需应对多种 异分布 场景（如新时间、地域、传感器等）。EarthShift 旨在填补这一评估空白。
• 衡量分布鲁棒性：通过比较模型在同分布与异分布数据上的性能，量化模型的 分布鲁棒性 差距。

覆盖的偏移类型（5种）

EarthShift 提供配对数据集，涵盖以下五种分布偏移场景：

偏移类型	描述
🔭 空间尺度	地面采样距离或空间分辨率的变化
📅 时间	不同时间段或季节的偏移
🗺️ 地理	不同地理区域的偏移
🛰️ 传感器	不同遥感传感器之间的切换
📡 数据源	不同数据采集来源或模态的切换

关键发现

• 基于对 8 个地理空间基础模型 和 11 个任务（覆盖所有 5 种偏移类型）的实验，发现所有模型在异分布数据上的性能普遍下降约 20%。
• 该鲁棒性差距与模型架构、大小、预训练策略或微调方式无关，且 GFMs 的鲁棒性与通用视觉基础模型甚至完全监督模型相似，表明分布鲁棒性仍是该领域的一个关键挑战。

使用方式

• 运行管道：通过命令行执行 python run_pipeline.py。
• 可配置参数：包括数据根目录、任务类型（分类、语义分割、目标检测）、模型选择、偏移类型（data, sensor, location, temporal, scale）、数据集对、微调策略（head 或 full）及结果保存路径。

用途

• 量化鲁棒性：评估任意模型在特定偏移下的性能差距。
• 诊断难点：识别对特定架构最具挑战性的偏移类型。
• 推动进展：促进开发不仅准确而且 可靠 的鲁棒模型。

数据集许可信息

数据集	许可协议
RESISC45	CC BY-NC-SA 4.0
UCMerced	公共领域
DeepGlobe	仅限非商业研究与教育
DFC2022	IGN 公开许可
FTW	CC BY-SA 4.0
Sen1Floods11	开放获取
BigEarthNet v2	社区数据许可协议 - 允许 - 1.0 版
m-EuroSat	MIT 许可

搜集汇总

数据集介绍

构建方式

EarthShift是面向地理空间基础模型分布外鲁棒性评测的首个公开测试平台。该数据集通过精心配对分布内与分布外样本的方式构建，选用了涵盖地理区域、时间窗口、传感器类型、数据来源及空间尺度五种分布偏移类型的遥感任务数据集。每个配对包含相同任务但存在特定分布差异的两个子集，如RESISC45与UCMerced用于地理偏移评估，DeepGlobe与DFC2022对应传感器变化情景。研究者可从统一根目录加载这些标准化的数据对，借助其结构化的层次组织完成模型在多种真实部署偏移条件下的系统化测试。

特点

EarthShift的核心特点在于首次系统性地量化了地理空间基础模型在五种分布偏移条件下的鲁棒性差距。对8个模型和11项任务的评估揭示了一个显著现象：无论模型架构、参数量或微调策略如何，性能在分布外场景下一致下降约20%。更引人深思的是，这些专用模型的鲁棒性竟与通用视觉基础模型乃至全监督模型不相上下，凸显了分布外泛化作为领域内尚未攻克的关键挑战。该平台提供的标准化对比框架使研究者能精确诊断不同架构在各类偏移中的薄弱环节。

使用方法

EarthShift提供简洁的命令行接口运行评测流水线，用户只需执行python run_pipeline.py即可启动。核心参数通过--root_dir指定数据根目录，借助--task选择分类、语义分割或目标检测任务，并利用--shift和--dataset_pair组合定义具体的分布偏移实验类型与数据对。研究者可通过--model指定待评估的基础模型，使用--finetune_type控制微调方式（仅训练分类头或全参数微调）。所有实验结果将自动保存至--save_dir指定的输出目录，便于后续分析与对比。

背景与挑战

背景概述

EarthShift是由国际遥感与计算机视觉领域学者于近期构建的首个公开测试平台，旨在系统评估地理空间基础模型（GFMs）在真实分布偏移场景下的鲁棒性。遥感领域现有基准多聚焦于模型在同类数据分布内的任务性能，然而实际部署时模型需应对时间跨度、地理区域、传感器类型、数据源及空间尺度等五类分布偏移带来的挑战。该平台涵盖8种GFMs与11项任务，揭示了无论模型架构、参数规模、预训练策略或微调方式如何，模型在域外数据上的性能普遍下降约20%，且GFMs的鲁棒性竟与通用视觉基础模型乃至全监督模型相当。这一发现引发了学界对“高基准准确率是否等价于强部署可靠性”的深刻反思，为提升遥感模型实际部署能力提供了关键研究工具。

当前挑战

EarthShift所应对的核心挑战在于：现有遥感模型评估体系忽视了分布偏移对部署性能的显著破坏，而构建该平台本身亦面临重重困难。领域层面，模型需同时应对空间分辨率变化、季节与年际时间漂移、跨大陆地理迁移、不同遥感传感器光谱差异以及多源数据格式不统一等五类异质偏移，每一类均可能独立导致性能崩塌。构建过程中，团队须精心挑选并配对具有显著偏移特征的公开数据集（如RESISC45与UCMerced覆盖不同地理分布），同时确保所有数据许可证合规且易于复现。此外，设计统一的评测管道需兼顾分类、语义分割、目标检测等多样任务的自定义微调与推理逻辑，这要求平台具备高度灵活性，以公平衡量各类GFMs的真实鲁棒性短板。

常用场景

经典使用场景

EarthShift作为首个公开的地理空间基础模型鲁棒性基准测试平台，其最经典的使用场景在于系统性评估模型在五种典型分布偏移下的表现衰退。研究者可利用该平台对模型进行地理区域迁移、时间跨度泛化、传感器类型切换、数据源变更以及空间分辨率变化的测试，通过对比模型在分布内与分布外数据上的性能差异，精准量化其分布鲁棒性。这一场景为衡量地理空间基础模型在复杂真实环境中的适应能力提供了标准化、可复现的评估范式。

实际应用

在实际应用中，EarthShift为遥感智能解译系统的可信部署提供了关键支撑。例如，在灾害应急响应场景中，模型需在极短时间内适应不同卫星传感器拍摄的灾区影像；在农业监测领域，模型需跨越不同经纬度的农田和不同季节的植被生长阶段；在城市规划中，模型需处理来自多种数据源（如光学与SAR影像）的异构信息。EarthShift提供的系统化评估框架能够帮助工程团队预先识别模型在目标环境中的性能瓶颈，从而优化模型选择或设计针对性的适应策略，确保地理空间AI系统在动态变化的真实世界中稳定运行。

衍生相关工作

EarthShift的发布催生了多个富有影响力的衍生研究工作。在模型层面，研究者开始探索针对特定偏移类型的鲁棒性增强方法，例如基于对比学习的跨传感器特征对齐技术、面向地理迁移的领域自适应策略，以及融合多尺度信息的尺度不变表示学习框架。在评估层面，EarthShift的偏移分类体系被后续研究广泛采纳，并扩展至更多维度如云遮挡、光照变化等。此外，该基准测试还激发了关于地理空间基础模型根本局限性的深入讨论，促使学界重新思考预训练策略、数据组成与模型架构对分布鲁棒性的影响，形成了一条以“可信地理空间AI”为核心的研究脉络。