Major-TOM/Core-DEM

Major TOM Core-DEM数据集包含全球范围内的Copernicus DEM数据，每个数据块大小为356 x 356像素，分辨率为30米。数据集提供了DEM原始数据、压缩的PNG图像以及缩略图。空间覆盖范围几乎涵盖了整个COP-DEM数据集，但排除了某些特定区域。数据集的使用示例和重投影细节也在README中进行了详细说明。

The Major TOM Core-DEM dataset contains a global coverage of Copernicus DEM data, each of size 356 x 356 pixels. The dataset includes a Digital Surface Model (DSM) with 1,837,843 patches, totaling over 1.654 billion pixels. The dataset has a resolution of 30 meters and covers the globe, except for areas below 89 degrees latitude and two degrees west of the date change line, as well as Azerbaijan and Armenia. The dataset was created through a collaboration between Φ-lab, European Space Agency (ESA), and Adobe Research (Paris, France).

搜集汇总

数据集介绍

构建方式

Core-DEM数据集构建于全球范围的Copernicus DEM数据之上，通过精心设计的投影转换与重采样流程，将原始数据统一至UTM投影系统。数据预处理过程中，大型DEM图块采用双线性插值法重采样至30米分辨率，而小型网格单元则依据需求运用最近邻插值进行裁剪。为确保数据一致性，该数据集排除了高纬度区域及特定地理范围，同时处理了水域与缺失像素，最终生成超过180万个标准化的356×356像素网格单元。

特点

该数据集以全球覆盖为显著特征，近乎完整地囊括了Copernicus DEM的陆地高程信息。每个数据单元均包含原始DEM数据、压缩后的PNG图像以及山体阴影可视化缩略图，实现了多模态数据的集成存储。数据规模庞大，总计包含超过16.5亿像素，且经过严格的投影对齐处理，虽与部分Sentinel-2产品存在微小投影差异，但整体保持了高度的空间一致性与可用性。

使用方法

用户可通过HuggingFace平台直接访问数据集，利用提供的Python接口脚本读取Parquet格式文件。数据加载支持选择性列读取，例如仅提取DEM高程数据或缩略图图像，并通过内存文件流实现高效处理。该数据集专为地形生成模型开发而设计，适用于遥感分析、地理空间建模及跨模态检索等研究场景，并可通过官方查看器应用进行可视化探索。

背景与挑战

背景概述

Core-DEM数据集作为Major TOM生态系统的重要组成部分，由欧洲空间局Φ-lab与Adobe Research巴黎团队于2024年合作构建，旨在为全球地形生成模型提供高质量的数字高程数据支持。该数据集基于Copernicus DEM全球覆盖数据，通过精心设计的投影转换与重采样流程，生成了超过180万个356×356像素的标准化地形单元，为遥感分析与地理空间智能研究奠定了数据基础。其核心研究问题聚焦于如何将多源地球观测数据统一整合，以促进地形建模、跨模态检索等前沿应用的发展，对推动全球环境监测与地理人工智能领域具有显著影响力。

当前挑战

Core-DEM数据集在解决数字地形建模与跨模态地理数据分析方面面临多重挑战。在领域层面，如何实现高分辨率地形数据与多光谱遥感影像的高效对齐与融合，以支持复杂的地理特征提取与三维地形生成，构成了核心科学难题。在构建过程中，数据集需克服全球尺度数据投影不一致性带来的几何畸变问题，例如将原始EPSG:4326投影转换为UTM区域投影时引发的局部数据错位；同时，部分区域如高纬度地带及亚美尼亚等地存在数据缺失，需通过插值与标记处理以保持数据完整性，这些技术障碍对数据质量控制提出了较高要求。

常用场景

经典使用场景

在遥感与地球观测领域，Core-DEM数据集作为全球覆盖的数字高程模型（DEM）资源，其经典应用场景聚焦于地形分析与地表建模。该数据集通过提供高分辨率的全球高程数据，支持研究人员对地形特征进行量化提取，如坡度、坡向及高程变化，进而为地貌演化、水文模拟及地质灾害评估提供基础数据支撑。其标准化的网格单元格式便于与多源遥感数据集成，推动了跨模态地理信息分析的发展。

解决学术问题

Core-DEM数据集有效解决了地球科学中缺乏统一、高质量全球高程基准的学术难题。它通过整合Copernicus DEM数据，以30米分辨率覆盖全球陆地表面，为地形分类、地表过程模拟及气候变化影响研究提供了可靠的数据基础。该数据集支持高程数据的标准化处理，消除了以往研究中因数据来源不一致导致的分析偏差，显著提升了全球尺度地形建模的准确性与可比性，对推动地理信息科学的方法创新具有深远意义。

衍生相关工作

Core-DEM数据集催生了多项创新研究，其中最突出的衍生工作是MESA地形生成模型，该模型利用潜在扩散技术与全球高程数据实现文本驱动的地形合成。同时，数据集被集成于EarthEmbeddingExplorer跨模态检索系统，支持卫星图像与高程数据的联合分析。这些工作扩展了DEM在生成式人工智能与多模态学习中的应用边界，为遥感数据与机器学习交叉领域提供了新的方法论范例。