global_sat_metar

Global GMGSI + METAR Patches (v1) 是一个专门为天气基础模型自监督/监督预训练而设计的多模态气象数据集。它整合了密集的全球卫星图像与稀疏的地面站观测数据，形成一个联合学习语料库。数据集核心由空间-时间样本构成：每个样本是一个从全球3600×1800网格（约0.1°/9公里分辨率）上裁剪出的128×128空间块，并包含一个以参考时间戳为中心、默认跨度为7小时（过去5小时、参考时刻、未来1小时）的时间窗口。数据模态包括：1）密集的4通道地球静止卫星场（sat_data），包含长波红外、可见光、水汽和短波红外通道；2）稀疏的7通道栅格化METAR场（metar_data），包含气温、露点温度、海平面气压、云量、降水、风速U/V分量等特征，大部分为NaN值，代表无观测站报告；3）静态的1通道高程图（elevation_data）。数据集旨在支持多种任务，主要用途是卫星到地面的临近预报/插补以及天气基础模型预训练，次要用途包括传感器转换、下游卫星数据微调预训练和METAR数据质量控制。数据来源于NOAA GMGSI卫星图像（公共领域）和IEM METAR地面站观测数据（需署名许可），时间覆盖范围从2021年7月14日至今。数据集以Parquet文件格式提供，未进行预分割，建议按时间顺序或空间区域进行划分以避免数据泄露。Global GMGSI + METAR Patches (v1) is a multimodal meteorological dataset specifically designed for self-supervised/supervised pre-training of weather foundation models. It integrates dense global satellite imagery with sparse ground station observations to form a joint learning corpus. The dataset core consists of spatio-temporal samples: each sample is a 128×128 spatial patch cropped from a global 3600×1800 grid (approximately 0.1°/9 km resolution), and includes a time window centered on a reference timestamp with a default span of 7 hours (past 5 hours, reference moment, future 1 hour). Data modalities include: 1) dense 4-channel geostationary satellite fields (sat_data) containing longwave infrared, visible, water vapor, and shortwave infrared channels; 2) sparse 7-channel rasterized METAR fields (metar_data) containing features such as temperature, dew point, sea level pressure, cloud cover, precipitation, and wind speed U/V components, mostly NaN values indicating no station reports; 3) static 1-channel elevation maps (elevation_data). The dataset aims to support multiple tasks, primarily for satellite-to-ground nowcasting/imputation and weather foundation model pre-training, with secondary uses including sensor conversion, downstream satellite data fine-tuning pre-training, and METAR data quality control. Data sources are NOAA GMGSI satellite imagery (public domain) and IEM METAR ground station observations (requiring attribution license), with temporal coverage from July 14, 2021, to the present. The dataset is provided in Parquet file format, not pre-split, and it is recommended to partition by chronological order or spatial region to avoid data leakage.

原始信息汇总

数据集概述：Global GMGSI + METAR Patches (v1)

该数据集是一个用于天气基础模型预训练的全球密集卫星影像与稀疏地面气象站观测数据的配对集合，以空间-时间样本块（patches）的形式组织。

基本信息

• 许可证：cc-by-4.0
• 任务类别：图像到图像、表格回归、时间序列预测
• 标签：气象学、天气、卫星、METAR、现在casting、天气基础模型
• 数据集大小：100K < n < 1M
• 命名：Global GMGSI + METAR Patches (v1)
• 数据集格式：Parquet

数据概要

每个数据样本（Parquet文件中的一行）代表一个空间-时间块，而非单一时刻的快照：

• 空间维度：从全球 3600×1800 的网格中裁剪出的 128×128 像素块，赤道附近覆盖约12.8°×12.8°区域。
• 时间维度：一个包含 T=7 帧（默认：过去5小时 + 当前参考时刻 + 未来1小时）的每小时时间窗口，以参考时刻为中心。
• 传感器：
  • sat_data：密集的4通道静止卫星影像（GMGSI）。
  • metar_data：稀疏的7通道栅格化METAR地面站观测场（大部分为NaN，表示无观测）。
  • elevation_data：静态的1通道高程图。

支持的任务

该数据集支持多任务学习，主要用途包括：

• 卫星到地面的现在casting/缺失值填补：根据历史卫星场预测当前时刻（及下一小时）的METAR场。
• 天气基础模型预训练：使用掩码、对比或扩散目标联合建模卫星和地面传感器。
• 其他应用：传感器转换（4波段转7波段）、下游模型微调预训练、METAR站数据质量控制。

数据结构与字段

数据集以Parquet文件形式提供，每个文件包含最多64个共享相同参考时间戳的样本块。

字段	类型	形状	数据类型	描述
sat_data	bytes	—	float16	卫星块的原始字节，需用 sat_shape 和 sat_dtype 重塑。
sat_shape	list[int64]	(4,)	—	数组形状 (T, 4, 128, 128) (时间帧, 通道, 高, 宽)。
metar_data	bytes	—	float32	METAR块的原始字节。
metar_shape	list[int64]	(4,)	—	数组形状 (T, N_FEATURES, 128, 128)，N_FEATURES = 7。
lon	float64	标量	—	块中心经度（度）。
lat	float64	标量	—	块中心纬度（度）。
date	string	标量	—	时间窗口的参考时间戳（UTC）。
elevation_data	bytes	—	float32	静态高程块的原始字节，形状 (128, 128)，无数据值为 -9999.0。

GMGSI卫星通道（sat_data）：

轴序	名称	GMGSI通道	物理量
0	lw_ir	GLOBCOMPLIR	长波红外亮温 (K)
1	vis	GLOBCOMPVIS	可见光反射率 (0-1)
2	wv	GLOBCOMPWV	水汽通道亮温 (K)
3	sw_ir	GLOBCOMPSIR	短波红外亮温 (K)

METAR地面站特征（metar_data）：

轴序	名称	单位	描述
0	tmpc	°C	2米气温
1	dwpc	°C	2米露点温度
2	mslp	hPa	平均海平面气压
3	cloud_cover	分数 [0,1]	编码的云量
4	p01m	mm	1小时累积降水量
5	wind_u	m/s	东向风分量
6	wind_v	m/s	北向风分量

数据划分

数据未预先划分。推荐的划分方式：

• 按时间划分：根据参考时间戳设置截止日期，以避免时间泄漏。
• 按空间划分：将特定大陆区域留出用于评估。典型划分比例约为80%训练 / 10%验证 / 10%测试，并在验证/测试窗口两侧设置一个月的间隔以减少相关性。

数据创建

• 数据来源：
  • 卫星 (GMGSI)：来自NOAA全球静止卫星影像拼图（AWS Open Data），覆盖约73°N至73°S，时间从2021年7月14日起。
  • 地面站 (METAR)：来自爱荷华环境气象网（IEM），包含全球约5,400个站点。
  • 高程数据：来自一个全球DEM，分辨率为0.0083°。
• 处理流程：将卫星、METAR和高程数据重投影到统一的0.1°全球网格，提取128×128像素的块（步长64像素），并对50%的块进行随机采样以控制存储。在METAR数据中，缺失的1小时降水量（p01m）被视为0进行栅格化。
• 版本：当前版本为v1。

搜集汇总

数据集介绍

构建方式

该数据集的构建依托于一个精心设计的流水线，从NOAA的全球静止卫星拼图（GMGSI）和Iowa环境气象台网（IEM）的METAR地面观测中获取原始数据。卫星数据涵盖长波红外、可见光、水汽和短波红外四个通道，以0.1度空间分辨率和小时级时间频率采集；METAR观测则包含气温、露点、海平面气压、云量、降水及风场分量等七个要素，经栅格化至相同网格。构建流程首先为每个参考时间戳堆叠前后共七帧的卫星和METAR数据，然后以64像素步长从全球3600×1800网格中裁剪出128×128的时空切片，并随机保留50%的切片以控制存储规模。每一切片还附带静态高程数据，最终以Parquet格式序列化，形成自描述的二进制数据块。

特点

该数据集的核心特色在于其多模态、稀疏感知的时空结构。每行数据并非单一帧，而是一个包含七帧、四个卫星通道和七个METAR特征的时空样本，其中METAR字段绝大多数为NaN，模拟了地面观测作为稀疏传感器的真实情形，而非完整的目标场。卫星与地面数据在等角投影网格上精确配准，且高程信息作为静态背景融入。这种设计天然支持多种任务，如利用密集卫星场预测稀疏地面观测的超短期预报、基于掩码或对比学习的目标的天气基础模型预训练，以及传感器模态间的翻译。数据集还提供了灵活的时空切分方式，既可按时间顺序划分以避免信息泄露，也可按空间区域评估模型的外推能力。

使用方法

该数据集的使用方式充分考虑了机器学习工作流的便利性。用户可通过HuggingFace的datasets库直接加载整个发布版本，或使用PyArrow读取本地的Parquet文件。每行数据包含以字节存储的数组及其形状和数据类型元信息，通过简单的NumPy重塑即可恢复为多维张量。在模型训练中，需注意METAR网格的NaN占比通常超过95%，因此自然选择是采用损失掩码或加权RMSE等策略。卫星通道需按各自物理量（亮度温度或反射率）进行归一化处理。为避免训练数据中的时间重叠，建议在生成时采用7小时步长以消除帧间冗余，或按分离期（如留出一个月的间隔）划分训练、验证和测试集，以确保评估的独立性。

背景与挑战

背景概述

全球数值天气预报与卫星遥感技术的深度融合，催生了对能够联合处理稠密卫星观测与稀疏地面站点数据的基础模型的需求。在此背景下，Global GMGSI + METAR Patches数据集于2024年由MeteoLibre团队构建，整合了NOAA全球静止卫星拼图（GMGSI）的4通道影像与来自Iowa环境台网（IEM）的约5400个METAR地面站观测数据，形成覆盖全球73°N至73°S、时间跨度为2021年至今的128×128像素时空补丁。该数据集以每小时7帧的滑动窗口组织，旨在为天气基础模型提供自监督与监督预训练语料，直接推动了卫星-地面联合建模、临近预报及传感器翻译等前沿研究的发展。

当前挑战

该数据集面临的核心挑战在于多模态数据的异构性与极端稀疏性。领域问题层面，METAR地面观测在网格中通常仅有不足3%的像素有效，模型需在稠密卫星场指导下从稀疏样本中学习物理量映射，这对损失函数设计（如掩码加权）和模型鲁棒性提出严苛要求。构建过程中，需同步处理GMGSI卫星影像（约9公里分辨率、4通道）、METAR点观测（7特征、每小时滚动窗口）及全球DEM三种数据源，面临极地卫星视场外大量NaN值、多源坐标系统一、以及每小时约20万条站观测记录的实时去重与格点化等工程难题，由此引入了时空对齐的精度控制与存储优化的挑战。

常用场景

经典使用场景

该数据集最为经典的使用场景在于为气象基础模型提供自监督或监督式的预训练语料。通过将密集的全球静止卫星图像（GMGSI，4通道，0.1°分辨率，每小时）与稀疏的全球METAR地面站观测数据（7个气象要素）进行时空对齐，并切割成128×128的空间块，形成7帧小时级时间窗口的样本。研究者可借此训练模型从密集卫星场中推断稀疏地面观测信息，实现卫星到地面的临近预报或填补缺失观测值，这一任务天然适用于掩码预测、对比学习等自监督范式。

解决学术问题

该数据集解决了气象领域一个长期存在的学术难题：如何将高时空分辨率的卫星遥感数据与稀疏但精确的地面站观测进行有效融合。传统的数值天气预报模型难以充分利用这两种异构数据源，而该数据集通过空间对齐和时间窗口设计，使深度学习模型能够学习从卫星云图反演地面气象要素（温度、湿度、气压、风速等）的复杂映射关系。其重要学术意义在于为气象基础模型提供了标准化的预训练数据，推动了气象人工智能从专用模型向通用基础模型的范式转变。

衍生相关工作

该数据集衍生了一系列具有影响力的经典工作，主要集中于三个方向：一是基于该数据预训练的气象基础模型架构研究，如采用视变换器（Vision Transformer）架构的卫星-地面联合编码模型，有效提升了全球网格化气象要素的估算精度；二是多模态对齐与融合方法的研究，包括对比学习框架下的卫星与地面特征对齐、跨模态生成式模型实现从卫星到地面分析场的翻译任务；三是下游任务适配研究，将该预训练模型微调至欧洲MTG系列卫星的FCI通道数据，显著缩小了不同卫星传感器间的数据差异，为全球气象观测系统的协同利用提供了技术基础。