OpenEarthSensing

OpenEarthSensing是一个面向开放世界遥感任务的大规模细粒度基准数据集，由华中科技大学、深圳市鹏城实验室和中国科学院共同创建。该数据集包含189个场景和对象类别，跨越5个不同的领域和3种模态，共157,674张图像。数据集覆盖了现实世界中可能发生的绝大多数语义偏移场景。此外，它还包含五个具有显著协变量偏移的数据领域，为评估开放世界模型的泛化性能提供了一个更全面的测试平台。

OpenEarthSensing is a large-scale fine-grained benchmark dataset for open-world remote sensing tasks, jointly created by Huazhong University of Science and Technology, Shenzhen Pengcheng Laboratory, and the Chinese Academy of Sciences. This dataset encompasses 189 scene and object categories, spans 5 distinct domains and 3 modalities, and contains a total of 157,674 images. It covers the vast majority of semantic shift scenarios that may occur in the real world. Furthermore, it includes five data domains with significant covariate shifts, providing a more comprehensive testbed for evaluating the generalization performance of open-world models.

搜集汇总

数据集介绍

构建方式

OpenEarthSensing 数据集的构建旨在模拟开放世界遥感中的语义变化和协变量变化。该数据集由五个子数据集组成，涵盖了五个不同的领域和三种模态，包括两个 RGB 卫星图像数据集、一个 RGB 无人机航拍图像数据集、一个 MSRGB 数据集和一个红外数据集。这些子数据集具有相同的语义类别，但包含不同的协变量变化条件，为评估开放世界模型的泛化能力提供了更全面的测试平台。OpenEarthSensing 包含 189 个场景和对象类别，涵盖了现实世界中可能发生的绝大多数语义变化场景。

特点

OpenEarthSensing 数据集的特点包括多个和多样化的领域、广泛的规模范围和多个粗略类别。它包含五个不同的数据领域，使其能够作为各种泛化任务的测试平台。此外，OpenEarthSensing 包含 152 个场景和 37 个对象类别，涵盖了不同规模的分类数据。它还包含 10 个全面的粗略类别，每个粗略类别进一步细分为 5 到 27 个细粒度子类别，总共 189 个不同的分类。这使得 OpenEarthSensing 成为评估开放世界遥感模型性能的重要基准。

使用方法

使用 OpenEarthSensing 数据集时，可以根据任务需求选择相应的子数据集。例如，对于开放集识别和语义变化 OOD 检测任务，可以使用 ID-94 子数据集作为训练数据，Easy-OOD 和 Hard-OOD 子数据集作为近 OOD 数据，以及 SUN 子数据集作为远 OOD 数据。对于协变量变化泛化和 OOD 检测任务，可以使用 ID-94 子数据集作为训练数据，其他四个子数据集作为测试数据。对于增量学习任务，可以使用 Dall R1 子数据集作为训练数据，并设置不同的场景，例如随机、粗略和规模，以模拟真实世界中的连续学习过程。此外，还可以使用不同的模型和算法进行评估和比较，以找出最佳的性能。

背景与挑战

背景概述

OpenEarthSensing数据集是在遥感领域的一个大型细粒度基准数据集，旨在为开放世界遥感任务提供评估平台。该数据集由华中科技大学、鹏城实验室和中国科学院的研究人员于2025年创建。OpenEarthSensing数据集包含了189个场景和物体类别，涵盖了现实世界中可能出现的绝大多数语义变化。此外，它还涵盖了五个具有显著协变量变化的数据域，包括两个RGB卫星域、一个RGB航空域、一个MSRGB域和一个红外域，为评估开放世界模型的一般化性能提供了一个更全面的测试平台。OpenEarthSensing的创建填补了开放世界遥感领域大型基准数据集的空白，对推动该领域的研究具有重要意义。

当前挑战

OpenEarthSensing数据集的挑战主要在于解决开放世界遥感任务中的各种问题。具体挑战包括：1) 语义变化检测，模型需要能够有效识别未知类别；2) 协变量变化适应，模型需要能够适应测试时遇到的各种变化；3) 持续更新，模型需要能够根据新样本不断更新自身。此外，构建过程中也遇到了一些挑战，例如：1) 数据集规模和多样性不足，无法反映现实世界的复杂性；2) 数据集缺乏对特定任务的针对性，无法满足开放世界的需求。OpenEarthSensing数据集的创建为解决这些挑战提供了一个重要的工具。

常用场景

经典使用场景

OpenEarthSensing数据集作为开放世界遥感领域的大型细粒度基准数据集，其经典使用场景包括语义偏移检测、协变量偏移适应、开放集识别、增量学习和域增量学习等。该数据集包含来自五个不同领域和三种模态的189个场景和对象类别，为评估开放世界模型的泛化性能提供了全面的测试平台。

解决学术问题

OpenEarthSensing数据集解决了开放世界遥感领域中模型适应新数据分布的挑战，特别是语义偏移和协变量偏移。该数据集涵盖了现实世界中可能出现的绝大多数语义偏移场景，并通过五个具有显著协变量偏移的数据领域，为评估模型在不同环境下的泛化能力提供了基准。此外，OpenEarthSensing数据集还为开放世界任务提供了更具挑战性的基准，促进了该领域的研究和发展。

衍生相关工作

OpenEarthSensing数据集的推出，为开放世界遥感领域的研究提供了新的契机，衍生出了一系列相关的研究工作。例如，基于OpenEarthSensing数据集，研究人员可以探索新的开放世界任务和方法，评估现有模型在开放环境下的性能，并开发新的算法和技术来提升模型的适应性和泛化能力。此外，OpenEarthSensing数据集还可以用于开发新的遥感图像解释方法和技术，为相关领域的应用提供支持。