allenai/olmoearth_pretrain_dataset

这是一个用于预训练OlmoEarth遥感基础模型的预训练数据集，包含了来自多个来源的遥感影像和地理信息数据，如Sentinel-2和Sentinel-1影像、Landsat 8/9影像、USDA农作物数据层、ERA5再分析数据、OpenStreetMap数据、SRTM数字高程、WorldCereal 2021农作物地图、WorldCover 2021土地覆盖图以及WRI树冠高度地图。This is a pre-training dataset for training the OlmoEarth pre-trained remote sensing foundation models, including remote sensing imagery and geographic information data from multiple sources such as Sentinel-2 and Sentinel-1 imagery, Landsat 8/9 imagery, USDA Cropland Data Layer, ERA5 reanalysis data, OpenStreetMap data, SRTM digital elevation, WorldCereal 2021 cropland map, WorldCover 2021 land cover map, and WRI Canopy Height Maps.

搜集汇总

数据集介绍

构建方式

在遥感领域，大规模预训练数据集的构建是推动基础模型发展的关键。allenai/olmoearth_pretrain_dataset 数据集通过整合多源遥感与地理空间数据，精心构建而成。其数据来源涵盖欧洲航天局的 Sentinel-2 L2A 影像与 Sentinel-1 GRD IW vv+vh 影像、NASA/USGS 的 Landsat 8/9 OLI-TIRS 影像，以及 USDA 的作物数据层、ECMWF 的 ERA5 月均再分析数据、OpenStreetMap 矢量数据、SRTM 数字高程模型，并融合了 ESA 的 WorldCereal 2021 与 WorldCover 2021 产品，以及 WRI 的冠层高度图。所有数据均遵循其原始许可协议，并在 CC BY 4.0 许可下发布，确保合法合规与广泛可用性。

特点

该数据集以多模态、多时相和高空间分辨率为核心特点，显著区别于单一来源的遥感数据集。它融合了光学、雷达、高程、气象、土地利用和作物类型等多种数据维度，为预训练模型提供了丰富的时空上下文信息。数据集覆盖全球范围，时间跨度广泛，能够支持从地表覆盖分类到作物监测、从环境变化分析到城市发展规划等多样化任务。其公开许可和标准化格式进一步降低了研究门槛，促进了遥感人工智能领域的协作与创新。

使用方法

使用该数据集时，研究者可基于其 Hugging Face 页面直接下载，并参考 GitHub 仓库中的详细文档进行数据预处理和模型训练。数据集以标准格式存储，兼容主流深度学习框架如 PyTorch 和 TensorFlow。建议用户根据具体任务（如场景分类、语义分割或变化检测）选择合适的模态组合，并利用内置的划分脚本进行训练、验证和测试集的拆分。此外，借助 Hugging Face 的 datasets 库，可高效加载和流式处理大规模数据，显著简化实验流程。

背景与挑战

背景概述

遥感基础模型的研究近年来蓬勃发展，其核心挑战在于如何构建大规模、多模态、高质量的预训练数据集，以支撑模型对地球表面复杂特征的深层理解。由艾伦人工智能研究院（Allen Institute for AI）主导创建的OlmoEarth预训练数据集，于近期发布，旨在为遥感基础模型提供坚实的训练基础。该数据集整合了来自欧洲空间局的Sentinel-2 L2A和Sentinel-1 GRD影像、NASA/USGS的Landsat 8/9 OLI-TIRS影像、USDA的农作物数据层、ECMWF的ERA5再分析气候数据、OpenStreetMap矢量数据、SRTM数字高程模型，以及ESA的WorldCereal和WorldCover土地覆盖图、WRI冠层高度图等多源异构数据，覆盖光学、雷达、高程、土地利用、气候等多个维度。其核心研究问题在于如何通过融合全球尺度的时空遥感与地理信息数据，推动遥感基础模型在场景分类、语义分割、变化检测等下游任务中的泛化能力与判别精度，为地球科学、农业监测、城市规划等领域提供可复用的预训练范式。

当前挑战

该数据集所面临的挑战首先体现在领域问题层面：遥感图像固有的空间异质性、时间动态性及多传感器间的光谱差异，使得模型需要同时处理光学与雷达数据的几何与辐射不一致性，并克服云雾遮挡、季节变化等噪声干扰，以实现对地物类型的鲁棒表征。其次，在构建过程中，整合来自十个不同数据源、遵循不同许可协议（如CC BY 4.0、ODbL、公共领域）的海量数据，涉及复杂的格式统一、空间配准、时间对齐及缺失值处理，例如Sentinel-1数据需经微软行星计算机的预处理才能与光学影像匹配。此外，如何确保全球尺度下各类地理区域的代表性均衡，避免数据偏差导致模型在特定区域性能退化，也是工程实现的重大挑战。最后，数据集的持续更新与版本管理、以及在大规模分布式训练中的高效加载与存储优化，均为后续研究提出了严峻考验。

常用场景

经典使用场景

在遥感基础模型预训练的浩瀚疆域中，allenai/olmoearth_pretrain_dataset以其多模态、多时相、多源异构的丰富数据构成，成为支撑地球观测领域大模型训练的基石。该数据集整合了Sentinel-2和Landsat 8/9光学影像、Sentinel-1合成孔径雷达数据、SRTM数字高程模型、ESA WorldCover与WorldCereal土地覆盖和作物类型图、USDA作物数据层、ERA5再分析气候数据、OpenStreetMap矢量信息以及WRI冠层高度图，为构建能够感知地表复杂异质性的通用遥感表征模型提供了无与伦比的训练语料。经典使用场景集中在对大规模、无监督或自监督预训练范式的探索上，研究者利用其海量样本与多任务对齐特性，训练具备跨传感器、跨季节、跨地理泛化能力的视觉变换器或掩码自编码器，从而在后续下游任务中仅需少量标注即可取得优异性能。

衍生相关工作

基于该数据集，学术界已衍生出多项具有里程碑意义的工作。最典型的当属OlmoEarth系列遥感基础模型，其采用掩码图像建模与多任务对比学习策略，在场景分类、语义分割、目标检测等基准上刷新了精度记录。后续研究者借鉴其数据组织方式，构建了如SatMAE、SpectralGPT等变体，探索时序光谱与空间上下文联合建模的新范式。此外，该数据集还催生了关于预训练策略的深入讨论，包括如何平衡多传感器输入、设计地理感知位置编码以及缓解数据分布漂移等问题，推动了遥感领域自监督学习理论的发展。这些衍生工作共同构筑了从数据构建到模型评估的完整研究链条，为地球观测人工智能的持续演进提供了可复现的基准与开放的平台。

数据集最近研究

最新研究方向

当前，遥感基础模型预训练数据集的研究正朝着多源异构数据融合与高泛化能力方向迈进。allenai/olmoearth_pretrain_dataset的发布，标志着该领域的一项前沿突破——它整合了来自Sentinel-2/1、Landsat 8/9、USDA作物数据层、ERA5再分析气象数据、OpenStreetMap矢量数据、SRTM数字高程模型以及ESA全球土地覆盖与作物地图等十余种权威遥感与地理空间数据源。这种多模态、多时相、多尺度的数据组合，使得预训练模型能够同时学习光学、雷达、高程、植被、土地利用与气候等跨域特征，显著提升了对复杂地表场景的理解能力。该数据集与OlmoEarth系列基础模型的结合，为下游任务如作物监测、森林碳汇估算、城市扩张分析等提供了强大的预训练基础，推动了遥感智能从任务专用模型向通用基础模型的范式转变，其影响已延伸至全球粮食安全、气候变化应对与可持续发展目标监测等热点领域。