LEAP/ChaosBench

ChaosBench是一个用于改进和扩展深度天气模拟器在次季节到季节（S2S）范围内预测能力的基准项目。数据集包含ERA5、LRA5和ORAS5再分析数据，涵盖了从1979年到2023年的45年数据，用于全耦合地球系统模拟（大气-陆地-海冰）。数据集还包括来自欧洲、英国、美国和亚洲主要国家机构的物理基础预测数据，并引入了两种可微分的物理基础指标，以最小化长时间预测范围内的功率谱衰减（模糊度）。此外，数据集还提供了对当前最先进的基于机器学习的天气模拟器（如ViT/ClimaX、PanguWeather、GraphCast和FourcastNetV2）的系统评估（确定性、概率性和物理基础）。

ChaosBench is a benchmark project to improve and extend the predictability range of deep weather emulators to the subseasonal-to-seasonal (S2S) range. The dataset includes ERA5, LRA5, and ORAS5 reanalysis data spanning over 45 years (1979 - 2023) for a fully-coupled Earth system emulation (atmosphere-terrestrial-sea-ice). It also includes a wide selection of physics-based forecasts from leading national agencies in Europe, the UK, America, and Asia, and introduces two differentiable physics-based metrics to minimize the decay of power spectra at long forecasting horizons (blurriness). Additionally, the dataset provides a systematic evaluation (deterministic, probabilistic, physics-based) for state-of-the-art ML-based weather emulators like ViT/ClimaX, PanguWeather, GraphCast, and FourcastNetV2.

原始信息汇总

ChaosBench 数据集概述

数据集简介

ChaosBench 是一个用于改进混沌系统长期预测的基准项目，特别是使用机器学习方法进行次季节至季节（S2S）气候预测。

数据集特点

1. 多样的观测数据：涵盖 45 年（1979 - 2023），包括 ERA5/LRA5/ORAS5 再分析数据，用于完全耦合的地球系统模拟（大气-陆地-海洋-海冰）。
2. 多样的基准模型：包括来自欧洲、英国、美国和亚洲领先国家机构的物理基础预测模型。
3. 可微分的物理指标：引入两种可微分的物理基础指标，以最小化长期预测范围内的功率谱衰减（模糊度）。
4. 大规模基准测试：对最先进的基于机器学习的天气模拟器（如 ViT/ClimaX、PanguWeather、GraphCast 和 FourcastNetV2）进行系统评估（确定性、概率性、物理基础）。

数据集概览

所有数据具有每日和 1.5 度分辨率。

1. ERA5 再分析数据：用于地表-大气（1979-2023），包含 48 个变量（通道）。
2. LRA5 再分析数据：用于陆地（1979-2023），包含多个陆地相关变量。
3. ORAS 再分析数据：用于海冰（1979-2023），包含多个海冰相关变量。

基准模型

除了气候学和持续性模型外，还评估以下模型：

1. 物理基础模型：
   • UKMO：英国气象局
   • NCEP：美国国家环境预测中心
   • CMA：中国气象局
   • ECMWF：欧洲中期天气预报中心
2. 数据驱动模型：
   • Lagged-Autoencoder
   • Fourier Neural Operator (FNO)
   • ResNet
   • UNet
   • ViT/ClimaX
   • PanguWeather
   • GraphCast
   • Fourcastnetv2

评估指标

评估指标分为三类：

1. 基于确定性的指标：
   • RMSE
   • Bias
   • 异常相关系数（ACC）
   • 多尺度结构相似性指数（MS-SSIM）
2. 基于物理的指标：
   • 光谱散度（SpecDiv）
   • 光谱残差（SpecRes）
3. 基于概率性的指标：
   • RMSE 集合
   • Bias 集合
   • ACC 集合
   • MS-SSIM 集合
   • SpecDiv 集合
   • SpecRes 集合
   • 连续排名概率分数（CRPS）
   • 连续排名概率技能分数（CRPSS）
   • 分散度
   • 分散度/技能比率

搜集汇总

数据集介绍

构建方式

ChaosBench数据集的构建旨在提升和扩展深度天气模拟器在亚季节到季节（S2S）范围内的预测能力。该数据集的构建主要依赖于ERA5/LRA5/ORAS5再分析数据，这些数据覆盖了1979年至2023年，用于完全耦合的地球系统模拟（大气-陆地-海冰）。此外，数据集还包含了来自欧洲、英国、美国和亚洲主要国家气象机构的物理基础预测。为了评估不同模型的性能，数据集引入了两种可微分的物理指标，以最小化长预测范围内功率谱的衰减（模糊度）。

特点

ChaosBench数据集的特点在于其多样性和全面性。首先，它提供了跨越45年（1979年至2023年）的多样化观测数据，包括ERA5/LRA5/ORAS5再分析数据，这些数据对于完全耦合的地球系统模拟至关重要。其次，数据集包含了来自多个国家和地区的物理基础预测，为比较和评估不同模型的性能提供了基础。此外，ChaosBench引入了两种可微分的物理指标，这些指标有助于评估模型在长预测范围内的物理保真度和可解释性。最后，数据集提供了一个大规模的基准测试平台，用于系统评估最先进的基于机器学习的天气模拟器，如ViT/ClimaX、PanguWeather、GraphCast和FourcastNetV2。

使用方法

使用ChaosBench数据集的步骤如下：首先，从GitHub克隆ChaosBench项目。然后，在项目目录下安装所有必要的依赖包。接下来，初始化数据空间，并下载所需的数据集，包括ERA5、LRA5、ORAS5再分析数据以及气候学数据。如果需要，还可以下载控制（确定性）预测、扰动（集合）预测以及最先进的（确定性）预测数据。数据集提供了每日和1.5度分辨率的数据，并且包含了表面大气、陆地和海冰的相关变量，这些数据对于构建和评估物理基础模型至关重要。

背景与挑战

背景概述

ChaosBench数据集，由LEAP/STC团队创建，旨在提高和扩展深度天气模拟器的可预测范围至亚季节至季节（S2S）尺度。这个尺度的可预测性更具挑战性，因为它对初始条件（天气尺度）和边界条件（气候尺度）具有双重敏感性，受蝴蝶效应的影响，以及我们对这个尺度上物理过程的固有理解不足。鉴于对准确、可靠和稳定的S2S预测的高社会经济利益（例如，用于灾害/极端天气准备），这个基准对于深度学习加速解决方案来说是非常及时的。

当前挑战

ChaosBench数据集面临的挑战包括：1) 对初始条件和边界条件的双重敏感性，这要求模型能够处理多尺度的影响；2) 蝴蝶效应，即微小的变化可能导致长期预测结果的巨大差异，对模型精度和稳定性的要求极高；3) 对物理过程的固有理解不足，需要模型能够自我学习和适应未知的物理规律。此外，构建数据集过程中也面临挑战，例如：1) 收集和处理跨越45年（1979-）的多样观测数据；2) 整合来自欧洲、英国、美国和亚洲领先国家机构的多样基准数据；3) 引入可微分物理指标以最小化长期预测视野中的功率谱衰减（模糊性）。

常用场景

经典使用场景

ChaosBench数据集主要被用于提升和扩展深度天气模拟器的预测范围至亚季节至季节（S2S）级别。此级别的预测更具挑战性，因为它对初始条件（天气尺度）和边界条件（气候尺度）的双重敏感性，蝴蝶效应，以及我们对这一尺度上物理过程的固有理解不足。因此，鉴于对准确、可靠和稳定的S2S预测的高社会经济利益（例如，用于灾难/极端情况准备），这一基准对于深度学习加速的解决方案是及时的。

衍生相关工作

ChaosBench数据集的发布促进了相关领域的研究，衍生了多个经典工作。例如，它为开发新的物理驱动的预测模型提供了基础，这些模型可以更好地捕捉气候系统的复杂性。此外，ChaosBench数据集还激发了研究者在数据驱动模型中引入物理约束的研究，以提高预测的物理一致性。

数据集最近研究

最新研究方向

ChaosBench数据集旨在提升和扩展深度天气模拟器的预测范围至亚季节至季节（S2S）尺度，这对于准确、可靠和稳定的S2S预报至关重要。ChaosBench数据集通过包括ERA5/LRA5/ORAS5再分析数据，为完全耦合的地球系统模拟（大气-陆地-海冰）提供了超过45年的多样化观测。此外，ChaosBench还提供了多样化的基准模型，包括来自欧洲、英国、美国和亚洲的领先国家机构的基于物理的预报，以及多种数据驱动模型，如Lagged-Autoencoder、FNO、ResNet、UNet、ViT/ClimaX、PanguWeather、GraphCast和Fourcastnetv2。ChaosBench数据集引入了两种可微分的物理指标，以最小化长期预测时间尺度上的功率谱衰减（模糊度），并进行了大规模基准测试，以系统地评估最先进的基于机器学习的天气模拟器。ChaosBench数据集的研究方向对于提升S2S尺度的天气预报能力具有重要意义，有助于应对与极端事件准备等相关的社会经济挑战。