遇见数据集

FGT

收藏
Hugging Face2026-08-02 更新2026-08-03 收录
官方服务:

资源简介:

该数据集包含预计算的 FGT(Forecast Graph Transformer)预报和气候学数据,以 Zarr 格式存储,并附带每日 ERA5 再分析真值,用于预报验证。主要数据文件为 `era5_daily_2020_2026_analytic_rsdt_masked.zarr`,包含 59 个每日 ERA5 通道,覆盖 2020 年 1 月 1 日至 2026 年 6 月 20 日,空间分辨率为 1 度 FGT 网格。其中 `mean_top_downward_short_wave_radiation_flux` 通道采用 GraphCast 风格的分析方法计算每日 RSDT(使用 360 个积分区间),而非原始 ERA5 辐射场。此外,`tos`(海表温度)和 `siconc`(海冰浓度)在陆地区域为 NaN,`mrso`(土壤湿度)在海洋区域为 NaN。数据集还包含一个海洋掩膜文件 `era5_ocean_mask_on_era5_daily_grid.nc`,用于对陆地和海洋通道进行后处理。该数据集适用于气候预测验证、偏差校正、可视化等任务,提供了示例 Jupyter 笔记本(`load_fgt_forecasts.ipynb`)演示加载、去偏和绘图流程。依赖库包括 xarray、zarr==3.2.1、dask、matplotlib、cftime 和 h5netcdf。

This dataset contains precomputed FGT (Forecast Graph Transformer) forecasts and climatological data, stored in Zarr format, paired with daily ERA5 reanalysis ground truth for forecast validation. The primary data file is `era5_daily_2020_2026_analytic_rsdt_masked.zarr`, which includes 59 daily ERA5 channels, spanning from January 1, 2020 to June 20, 2026, with a spatial resolution of 1-degree FGT grid. Notably, the `mean_top_downward_short_wave_radiation_flux` channel computes daily RSDT using a GraphCast-style analytical method (with 360 integration intervals), rather than the raw ERA5 radiation field. Additionally, `tos` (sea surface temperature) and `siconc` (sea ice concentration) are assigned NaN values over land regions, while `mrso` (soil moisture) is assigned NaN values over ocean regions. The dataset also includes an ocean mask file `era5_ocean_mask_on_era5_daily_grid.nc`, which is used for post-processing land and ocean channels. This dataset is suitable for tasks such as climate forecast validation, bias correction, and visualization, and provides an example Jupyter notebook (`load_fgt_forecasts.ipynb`) that demonstrates loading, debiasing, and plotting workflows. Required dependencies include xarray, zarr==3.2.1, dask, matplotlib, cftime, and h5netcdf.

创建时间:
2026-07-28
原始信息汇总

数据集概述:FGT forecasts and climatologies

简介
该数据集包含了预计算的 FGT(一种天气预报模型)预测结果和气候态数据,存储为 Zarr 格式,并附带用于预测验证的 ERA5 每日真实观测数据。用户可通过提供的 Jupyter Notebook 进行数据加载、偏差校正和可视化。


核心内容

1. 数据文件

  • era5_daily_2020_2026_analytic_rsdt_masked.zarr
    • 包含从 2020-01-01 至 2026-06-2059 个每日 ERA5 变量通道,分辨率采用 FGT 的 1 度网格。
    • 特殊处理
      • mean_top_downward_short_wave_radiation_flux 通道使用 GraphCast 风格的解析日辐射(RSDT,360 积分区间),非原始 ERA5 辐射场。
      • tos(海表温度)和 siconc(海冰浓度)在陆地上为 NaN。
      • mrso(土壤湿度)在海洋上为 NaN。

2. 附带文件

  • era5_ocean_mask_on_era5_daily_grid.nc:海洋掩膜文件,用于区分陆地和海洋通道。

使用指南

  • 示例笔记本load_fgt_forecasts.ipynb
    • 演示最小化的数据加载、偏差校正(包括物理裁剪)和绘图。
    • 需将下载的 Zarr 目录及掩膜文件置于笔记本同级目录。
    • 依赖库:xarrayzarr==3.2.1daskmatplotlibcftimeh5netcdf

其他信息

  • 许可证:Creative Commons Attribution 4.0 (CC-BY-4.0)
  • FGT 源代码:目前存储于私有开发仓库,将在公开时在此处提供链接。
搜集汇总
数据集介绍
FGT 数据集图片
构建方式
该数据集由预先计算的FGT预测与气候态Zarr存储构成,并辅以用于预测验证的ERA5每日真实场数据。其中,era5_daily_2020_2026_analytic_rsdt_masked.zarr文件包含了2020年1月1日至2026年6月20日期间,在1度FGT网格上的59个每日ERA5通道,其短波辐射通量通道采用了与GraphCast风格一致的分析性每日RSDT(360积分区间),而非存档的ERA5辐射场。陆地与海洋上的特定变量(如海表温度和海水浓度)分别以NaN填充,以确保物理一致性。数据集的构建过程融入了去偏后的物理裁剪及掩膜处理,确保各通道的适用性。
特点
该数据集的核心特点在于其综合了预测、气候态与观测真值三位一体的架构,为中期天气预测模型的验证提供了便捷基准。Zarr格式支持高效并行读取,且网格统一为1度分辨率,便于多变量融合分析。特别地,太阳辐射通道经过分析性重计算,增强了与FGT模型输入的匹配度。同时,数据集内置了海洋掩膜文件,使得海气变量的处理更加精准,这些特征共同提升了数据在气候研究中的实用价值与可复现性。
使用方法
使用该数据集时,需将下载的Zarr目录及海洋掩膜文件置于notebook同目录下,参考提供的加载脚本进行数据读取。示例中演示了利用xarray和zarr库进行去偏、物理裁剪以及针对海陆通道的掩膜应用,并可在精确的FGT有效日期上绘制ERA5真值图。依赖环境需包含zarr==3.2.1、dask、cftime等特定版本。整个流程旨在为用户提供一套从数据加载到可视化验证的完整操作范式,便于快速开展预测评估工作。
背景与挑战
背景概述
FGT(Forecast and Ground Truth)数据集由某研究团队构建,旨在为中期天气预报模型的验证与偏差校正提供标准化基准。该数据集整合了预先计算的FGT预报结果、气候态数据以及每日ERA5再分析真值,覆盖2020至2026年,空间分辨率为1度,包含59个大气与地表变量,并特别融入了GraphCast风格的分析辐射通量。其创建核心在于弥合预报模型输出与观测真相之间的鸿沟,支持深度学习方法在气象领域的可重复性研究。自发布以来,该数据集凭借其精细的时空覆盖与物理一致性,已成为评估下一代神经预报模型(如GraphCast、PanguWeather)性能的重要参照,推动了气象机器学习社区的标准化进程。
当前挑战
FGT数据集所面临的挑战多维且严峻。在领域问题层面,其核心挑战在于预报偏差的精确量化与校正,尤其是辐射通量等物理量在多时间尺度上的系统性误差,同时需处理陆海变量(如海冰浓度、土壤湿度)因表面类型差异导致的非均质分布,以及不同数据源(ERA5与GraphCast风格)之间的物理一致性难题。在构建过程中,挑战集中于实现高分辨率(1度)全球网格下多通道数据的无缝整合,应对Zarr格式存储与流式读取带来的I/O性能瓶颈,并确保时间序列(2020-2026)的完整性,尤其是处理缺失值与极端天气事件期间的异常值。此外,对土地与海洋掩膜的精确应用,以及验证时对有效日期的严格对齐,均对数据管线的鲁棒性提出了严苛要求。
常用场景
经典使用场景
FGT数据集作为预计算的天气预测与气候态数据集合,广泛用于地球系统科学中与次季节至季节尺度预测相关的基准测试与模型验证。其核心使用场景在于加载Zarr格式的预测与气候态数据,结合ERA5再分析资料进行偏差校正、物理约束裁剪以及掩膜处理,从而评估预测模型的性能。研究人员借助该数据集可系统地比较不同预测系统在特定时段的有效性,例如,通过日均通道的统计特性来量化预测误差,为改进数值天气预报模型提供数据支撑。
衍生相关工作
FGT数据集的出现催生了若干衍生研究方向,诸如基于深度学习预测结果的物理一致性诊断工作,以及面向多模型集合的偏差修正算法开发。其提供的分析式辐射通量与掩膜处理方案,为后续研究在极地或海洋区域进行精细化的能量平衡分析奠定了基础。此外,数据集所展示的模块化加载与后处理范式,已被借鉴用于构建针对不同变量(如土壤湿度或海冰浓度)的专用验证库,推动了可及且标准化预测评估生态的构建。
数据集最近研究
最新研究方向
FGT数据集的最新研究方向聚焦于将AI气象预报模型与高分辨率再分析资料深度融合,通过提供预计算的预测与气候态Zarr存储及逐日ERA5真值,推动天气预报的偏差校正与验证研究。该数据集特别强调了GraphCast风格的解析日太阳辐射通量,并引入陆地与海洋通道的掩膜处理,为跨学科的气候动力学分析提供了标准化基准。其前沿应用包括利用多通道时间序列进行极端天气事件的回溯诊断、机器学习模型的鲁棒性评估,以及长期气候趋势的精细刻画,有望加速下一代智能天气预报系统的开发与业务化部署。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务