MajorTOM-Core

主要提供一个可扩展的框架，用于整合和访问多个地球观测数据集，特别是MajorTOM-Core数据集，覆盖了地球大部分陆地表面，为社区提供了一个即刻可用的资源，并作为未来添加到Major TOM生态系统的模板。

This primarily offers an extensible framework designed for integrating and accessing multiple Earth observation datasets, particularly the MajorTOM-Core dataset, which covers a significant portion of the Earth's terrestrial surface. It provides the community with an immediately usable resource and serves as a template for future additions to the Major TOM ecosystem.

原始信息汇总

数据集概述

数据集名称及链接

• Core-S2L2A

  • 链接: https://huggingface.co/datasets/Major-TOM/Core-S2L2A
  • 描述: Sentinel-2 Level 2A数据集，包含2,245,886个多光谱补丁，适用于全球通用目的，大小约23 TB。

• Core-S2L1C

  • 链接: https://huggingface.co/datasets/Major-TOM/Core-S2L1C
  • 描述: Sentinel-2 Level 1C数据集，包含2,245,886个多光谱补丁，适用于全球通用目的，大小约23 TB。

• Core-S1RTC

  • 链接: https://huggingface.co/datasets/Major-TOM/Core-S1RTC
  • 描述: Sentinel-1 RTC数据集，包含1,469,955个合成孔径雷达(SAR)补丁，适用于全球通用目的，大小约16 TB。

数据集特点

• 标准化框架: Major TOM提供了一个地理索引系统和元数据结构，允许不同来源的数据集合并，支持大规模(TB级)地球观测数据集的创建和访问。
• 开放访问: MajorTOM-Core数据集覆盖了地球大部分陆地表面，为社区提供了一个即用资源，并作为未来Major TOM生态系统数据集的模板。

数据集演示

• 在线预览: 可通过以下链接在浏览器中查看MajorTOM-Core数据集的样本: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer

引用信息

latex @inproceedings{Major_TOM, title={Major TOM: Expandable Datasets for Earth Observation}, author={Alistair Francis and Mikolaj Czerkawski}, year={2024}, eprint={2402.12095}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

MajorTOM-Core数据集的构建基于全球地理索引系统，采用统一的网格点结构，确保了数据集的扩展性和兼容性。该数据集通过整合多种地球观测（EO）数据源，如Sentinel-2和Sentinel-1，构建了一个覆盖全球大部分陆地表面的综合数据集。数据集的构建过程中，采用了标准化的元数据结构，使得不同来源的数据能够无缝合并，从而为深度学习模型提供了丰富的训练资源。

特点

MajorTOM-Core数据集的主要特点在于其全球覆盖性和多模态数据的整合。该数据集不仅包含了多光谱和合成孔径雷达（SAR）数据，还提供了基于不同模型的嵌入数据，如SSL4EO和DINOv2。这些嵌入数据为研究人员提供了丰富的特征表示，有助于提升模型的泛化能力。此外，数据集的开放性和可扩展性使得其能够不断吸纳新的数据源，满足日益增长的地球观测需求。

使用方法

MajorTOM-Core数据集的使用方法灵活多样，用户可以通过Hugging Face平台直接访问和下载数据，或使用提供的Colab笔记本进行数据筛选和处理。数据集还提供了在线可视化工具，用户可以在浏览器中即时查看样本数据。对于需要自定义网格的用户，可以通过提供的`grid.py`脚本生成不同尺度的全球网格。此外，数据集的开放访问特性使得研究人员能够轻松地将数据集成到自己的研究项目中，推动地球观测领域的进一步发展。

背景与挑战

背景概述

MajorTOM-Core数据集由欧洲空间局（ESA）的Φ-lab团队主导开发，旨在为地球观测（EO）领域提供一个可扩展的标准化数据集框架。该数据集的核心研究问题是如何在EO领域中构建一个统一的、可扩展的数据集，以解决现有数据集格式多样、互操作性差的问题。MajorTOM-Core不仅提供了一个大规模的开放数据集，还为未来的数据集扩展提供了一个模板。该数据集的创建时间为2024年，主要研究人员包括Alistair Francis和Mikolaj Czerkawski，其研究成果已在arXiv上发布，编号为2402.12095。

当前挑战

MajorTOM-Core数据集面临的挑战主要集中在两个方面。首先，构建一个覆盖全球的地球观测数据集需要处理海量数据，尤其是TB级别的数据存储和处理，这对数据管理和计算资源提出了极高的要求。其次，不同来源的EO数据格式和结构各异，如何实现这些数据的统一整合和互操作性是一个技术难题。此外，随着数据集的不断扩展，如何确保新加入的数据集符合Major TOM的标准，并能够无缝集成到现有框架中，也是一个亟待解决的问题。

常用场景

经典使用场景

MajorTOM-Core数据集在地球观测领域中被广泛用于多光谱和合成孔径雷达（SAR）图像的分析与处理。其经典使用场景包括利用Sentinel-2和Sentinel-1卫星数据进行全球范围内的土地覆盖分类、灾害监测、农业监测以及环境变化分析。通过提供大规模、标准化的数据集，研究人员能够更高效地训练和验证深度学习模型，从而提升地球观测任务的精度和效率。

实际应用

在实际应用中，MajorTOM-Core数据集被广泛应用于农业、林业、灾害管理、城市规划和环境保护等领域。例如，农业部门可以利用该数据集进行作物健康监测和产量预测，灾害管理机构则可以实时监测自然灾害的发生和影响。此外，城市规划者可以利用多光谱图像进行土地利用分析，而环保组织则可以监测森林砍伐和海洋污染等环境问题，从而制定更有效的保护策略。

衍生相关工作

MajorTOM-Core数据集的发布催生了一系列相关研究工作，特别是在深度学习和地球观测的交叉领域。例如，基于该数据集的预训练模型被广泛用于图像分类、目标检测和语义分割任务，推动了自监督学习和迁移学习在地球观测中的应用。此外，该数据集还激发了多个跨机构合作项目，旨在开发更高效的地球观测数据处理工具和算法，进一步扩展了Major TOM生态系统的应用范围。