ben-ge

ben-ge是一个多模态地球观测数据集，作为BigEarthNet数据集的扩展，提供了额外的地理和环境数据，包括高程数据、土地利用/覆盖数据、环境数据和气候区信息等。该数据集旨在为地球观测应用提供丰富的数据模态，支持模型训练和预训练，以及数据融合、多任务学习和自监督学习等概念的实验。

The ben-ge dataset is a multimodal Earth observation dataset, serving as an extension of the BigEarthNet dataset. It provides additional geographical and environmental data, including elevation data, land use/cover data, environmental data, and climate zone information. This dataset aims to offer a rich variety of data modalities for Earth observation applications, supporting model training and pre-training, as well as experiments in data fusion, multi-task learning, and self-supervised learning concepts.

原始信息汇总

数据集概述

ben-ge 是一个多模态地球观测数据集，作为 BigEarthNet 数据集的扩展。BigEarthNet 数据集包含欧洲590,326个地点的Sentinel-1和Sentinel-2观测数据。ben-ge 为每个观测点提供了以下额外数据：

• 从Copernicus数字高程模型GLO-30提取的海拔数据；
• 从ESA WorldCover提取的土地利用/土地覆盖数据；
• 与Sentinel-1/2观测同时的环境数据，来自ERA-5全球再分析；
• 从Beck et al. 2018提取的气候带信息；
• 季节编码。

数据下载

ben-ge 数据托管在zenodo，用户可以从该平台下载不同模态的数据。除了完整数据集外，还提供了一个小型版本 ben-ge-8k，用于代码实现和快速实验。

完整数据集

完整 ben-ge 数据集包含590,326个补丁的多模态数据。数据集以模块化方式提供，用户可以选择感兴趣的数据模态：

• Sentinel-2: 多波段图像数据，参考BigEarthNet下载网站。
• Sentinel-1: 合成孔径雷达(SAR)极化数据，参考BigEarthNet下载网站。
• 数字高程模型数据，下载链接：这里 [2.5 GB打包]。
• 土地利用/土地覆盖数据，下载链接：这里 [487 MB打包]。
• 环境数据，下载链接：这里 [18 MB打包]。
• 气候带数据，包含在ben-ge元数据文件中，下载链接：这里 (87 MB)。
• 季节编码，包含在ben-ge元数据文件中，下载链接：这里 (87 MB)。

解压后，整个 ben-ge 数据集（包括BigEarthNet Sentinel-1/2数据）总计191 GB。

数据集分割

提供不同类型的分割，每个子集包含完整数据集的一定百分比：

标识符	百分比	样本大小
ben-ge-0.2	20%	118k
ben-ge-0.4	40%	236k
ben-ge-0.6	60%	354k
ben-ge-0.8	80%	472k

每个子集都带有固定的训练/验证/测试分割（80/10/10）。

ben-ge-8k: 小型版本

ben-ge-8k 提供了一个小型版本的 ben-ge，所有模态（包括BigEarthNet的Sentinel-1和Sentinel-2及其对应的标签文件）都包含在一个可下载的归档文件中，解压后需要4.2 GB空间。

引用 ben-ge

使用 ben-ge 或其衍生品时，请确保适当引用以下出版物：

• 使用 ben-ge 特定数据模态：

  M. Mommert, N. Kesseli, J. Hanna, L. Scheibenreif, D. Borth, B. Demir, "ben-ge: Extending BigEarthNet with Geographical and Environmental Data", IEEE International Geoscience and Remote Sensing Symposium, Pasadena, USA, 2023. 
  

• 使用Sentinel-2数据：

  G. Sumbul, M. Charfuelan, B. Demir, V. Markl, "BigEarthNet: A Large-Scale Benchmark Archive for Remote Sensing Image Understanding", IEEE International Geoscience and Remote Sensing Symposium, pp. 5901-5904, Yokohama, Japan, 2019.
  

• 使用Sentinel-1数据：

  G. Sumbul, A. d. Wall, T. Kreuziger, F. Marcelino, H. Costa, P. Benevides, M. Caetano, B. Demir, V. Markl, "BigEarthNet-MM: A Large Scale Multi-Modal Multi-Label Benchmark Archive for Remote Sensing Image Classification and Retrieval", IEEE Geoscience and Remote Sensing Magazine, 2021, doi: 10.1109/MGRS.2021.3089174.
  

搜集汇总

数据集介绍

构建方式

ben-ge数据集作为BigEarthNet的扩展，通过整合多源地理与环境数据构建而成。其核心数据来源于欧洲590,326个地点的Sentinel-1和Sentinel-2观测数据，并在此基础上补充了Copernicus数字高程模型（GLO-30）的高程数据、ESA WorldCover的土地利用/土地覆盖数据、ERA-5全球再分析的环境数据、Beck等人（2018）的气候区数据以及季节性编码。这些数据通过统一的坐标框架和插值方法进行对齐与整合，确保了多模态数据的一致性。

特点

ben-ge数据集以其多模态特性著称，涵盖了遥感影像、高程、土地利用、环境参数及气候区等多维度信息。其数据规模庞大，包含590,326个地点的完整数据，总容量达191GB。此外，数据集提供了模块化下载选项，用户可根据需求选择特定数据模态。ben-ge还提供了不同比例的子集（如20%、40%等）以及固定训练/验证/测试划分，便于不同规模的研究与应用。其小规模版本ben-ge-8k则专为快速实验与代码实现设计，仅需4.2GB存储空间。

使用方法

ben-ge数据集的使用方法灵活多样，用户可通过Zenodo平台下载所需数据模态。数据集以模块化形式提供，支持单独下载Sentinel-2多波段影像、Sentinel-1合成孔径雷达数据、数字高程模型、土地利用数据、环境数据及气候区信息。此外，ben-ge提供了预定义的子集划分和训练/验证/测试索引文件，便于直接应用于深度学习模型的训练与评估。用户还可通过Python和PyTorch代码库高效访问与处理数据，未来将提供预训练模型以支持更广泛的研究与应用。

背景与挑战

背景概述

ben-ge数据集是BigEarthNet的扩展版本，专注于地球观测领域，由M. Mommert、N. Kesseli等研究人员于2023年发布。该数据集在BigEarthNet的基础上，整合了Sentinel-1和Sentinel-2的观测数据，并进一步补充了来自Copernicus数字高程模型、ESA WorldCover土地利用/覆盖数据、ERA-5环境数据以及Beck等人提出的气候区信息等多模态数据。ben-ge的创建旨在为地球观测应用提供一个包含丰富数据模态的资源，支持数据融合、多任务学习和自监督学习等前沿研究。该数据集的研究背景源于对多源数据融合的需求，特别是在遥感图像理解、气候变化监测和土地利用分析等领域具有重要影响力。

当前挑战

ben-ge数据集在解决地球观测领域的多模态数据融合问题时面临诸多挑战。首先，数据来源的多样性和复杂性使得数据对齐和标准化成为关键难题，尤其是在不同传感器（如Sentinel-1和Sentinel-2）和时间分辨率的数据整合过程中。其次，数据规模庞大（约191GB），对存储、计算资源和数据处理效率提出了较高要求。此外，构建过程中需要处理来自不同数据源的时空一致性、分辨率差异以及数据缺失等问题，这对数据预处理和插值技术提出了挑战。最后，如何有效利用多模态数据进行模型训练和验证，尤其是在多任务学习和自监督学习场景下，仍需进一步探索和优化。

常用场景

经典使用场景

ben-ge数据集在地球观测领域具有广泛的应用，特别是在多模态数据融合和深度学习模型的训练与预训练中。该数据集通过整合Sentinel-1和Sentinel-2的遥感数据，并结合高程、土地利用/覆盖、环境数据以及气候区信息，为研究者提供了一个全面的多模态数据平台。其经典使用场景包括土地利用分类、气候变化监测、自然灾害评估等，尤其适合用于多任务学习和自监督学习的研究。

实际应用

在实际应用中，ben-ge数据集被广泛用于土地利用规划、环境监测和灾害管理等领域。例如，通过分析土地利用/覆盖数据，城市规划者可以优化土地资源配置；结合环境数据，气象学家能够更准确地预测气候变化；而高程数据则为自然灾害风险评估提供了重要依据。此外，该数据集还被用于农业监测和森林管理，帮助决策者制定科学的资源管理策略。

衍生相关工作

ben-ge数据集的发布催生了一系列相关研究工作，特别是在多模态数据融合和深度学习模型优化方面。例如，基于该数据集的研究提出了新的多任务学习框架，能够同时处理遥感图像分类和环境参数预测任务。此外，一些研究利用ben-ge数据集开发了自监督学习方法，显著提升了模型在有限标注数据下的性能。这些工作不仅推动了地球观测领域的技术进步，也为其他多模态数据集的研究提供了重要参考。