ADAF数据集

预处理数据包括输入-目标对。输入包括3小时窗口内的地面天气观测数据、GOES-16卫星图像、HRRR预报和地形数据。目标是RTMA和地面天气观测数据的组合。所有数据都被正则化为512×1280的网格，空间分辨率为0.05×0.05度。

The preprocessing dataset includes input-target pairs. The inputs consist of surface weather observations within a 3-hour window, GOES-16 satellite imagery, HRRR forecasts, and topographical data. The target is a combination of RTMA and surface weather observations. All data are normalized to a 512x1280 grid with a spatial resolution of 0.05x0.05 degrees.

原始信息汇总

ADAF数据集概述

数据集简介

ADAF是一个基于人工智能的数据同化框架，用于天气预报。该数据集包含预处理数据、预计算归一化统计数据和训练好的模型权重。

数据内容

预处理数据

• 下载链接: https://zenodo.org/records/14020879
• 输入数据:
  • 表面天气观测数据（3小时窗口）
    • 来源: WeatherReal-Synoptic (Jin et al., 2024)
    • 变量: Q, T2M, U10, V10
  • 卫星图像（3小时窗口）
    • 来源: GOES-16 (Tan et al., 2019)
    • 波段: 0.64, 3.9, 7.3, 11.2 μm
  • 背景数据
    • 来源: HRRR forecast (Dowell et al., 2022)
    • 变量: Q, T2M, U10, V10
  • 地形数据
    • 来源: ERA5 (Hersbach et al., 2019)
    • 变量: Geopotential
• 目标数据:
  • 分析数据
    • 来源: RTMA (Pondeca et al., 2011)
    • 变量: Q, T2M, U10, V10
  • 表面天气观测数据
    • 来源: WeatherReal-Synoptic (Jin et al., 2024)
    • 变量: Q, T2M, U10, V10
• 数据格式: 512 × 1280网格，空间分辨率0.05 × 0.05°

预计算归一化统计数据

• 下载链接: https://zenodo.org/records/14020879

• 目录结构:

  data │ README.md └───test │ │ 2022-10-01_00.nc │ │ 2022-10-02_06.nc │ │ 2022-10-03_12.nc │ │ ... │ │ 2023-10-31_00.nc └───stats.csv

训练好的模型权重

• 下载链接: https://zenodo.org/records/14020879

• 文件结构:

  model_weights/ │ best_ckpt.tar

训练与推理

• 训练配置: 通过config/experiment.yaml设置
• 推理要求:
  1. 测试样本文件路径
  2. 推理脚本(inference.py)
  3. 模型权重
  4. 预计算归一化统计数据
  5. 配置文件(config/experiment.yaml)

引用

@article{xiang2024ADAF, title={ADAF: An Artificial Intelligence Data Assimilation Framework for Weather Forecasting}, author={Yanfei Xiang and Weixin Jin and Haiyu Dong and Mingliang Bai and Zuliang Fang and Pengcheng Zhao and Hongyu Sun and Kit Thambiratnam and Qi Zhang and Xiaomeng Huang}, year={2024}, journal={arXiv preprint arXiv:2411.16807}, url={https://arxiv.org/abs/2411.16807}, }

搜集汇总

数据集介绍

构建方式

ADAF数据集的构建基于人工智能数据同化框架，旨在为天气预报提供高质量的初始条件。该数据集的构建整合了地表气象观测、卫星图像、背景预报和地形数据，通过预处理的输入-目标对形式存在。地表气象观测和卫星图像覆盖了3小时的时间窗口，而背景和地形数据则作为静态信息参与模型训练。所有数据均规范到512×1280的网格上，空间分辨率为0.05×0.05度。

特点

ADAF数据集的特点在于其创新性地采用了人工智能方法进行数据同化，有效克服了传统数据同化方法在计算成本和精度之间的权衡。该数据集包含丰富的地表气象观测和卫星图像数据，能够在较低的计算成本下处理大量观测数据，并在准确性上优于现有的高分辨率快速更新数据同化系统。此外，ADAF数据集还能够高质量地重构极端事件，如热带气旋的风场。

使用方法

使用ADAF数据集首先需要准备测试样本文件、推理脚本、模型权重、预计算的归一化统计信息和配置文件。在配置好环境后，用户可以通过指定的脚本启动模型训练或推理过程。训练配置可通过配置文件进行设置，而推理过程则需要指定测试数据路径、网络配置以及其他相关参数。

背景与挑战

背景概述

ADAF数据集，全称为An Artificial Intelligence Data Assimilation Framework for Weather Forecasting，是一个旨在通过人工智能技术提升数值天气预报精度的研究成果。该数据集由Yanfei Xiang等研究人员于2024年创建，隶属于天气预测领域，主要针对的是数据同化（DA）过程中的准确性与传统方法计算成本之间的权衡问题。ADAF数据集利用了来自不同地点和多个来源的实际观测数据，包括稀疏的地面天气观测和卫星图像，验证了AI方法在DA中的有效性。该数据集在美国连续地带（CONUS）的四个近地表变量上进行了实施，结果表明其在准确性上优于高分辨率快速刷新数据同化系统（HRRRDAS）16%至33%，并能够重构极端事件，例如热带气旋的风场。ADAF的引入，为操作天气预测领域的实时数据处理提供了新的视角和技术路径，具有重要的研究价值和实际应用潜力。

当前挑战

ADAF数据集面临的挑战主要包括：1）在保持高准确度的同时，如何进一步降低计算成本，以适应实时大规模观测数据的处理需求；2）如何优化数据同化模型，使其在非线性系统中具有更好的性能；3）如何确保在观测数据极度稀疏的情况下，数据同化框架仍能生成高质量的分析结果。构建过程中，研究人员需要克服数据预处理、模型训练与验证、以及模型泛化能力等多方面的挑战，以确保ADAF在实际应用中的效率和效果。

常用场景

经典使用场景

在数值天气预报（NWP）领域，数据同化（DA）是提高预报精度关键的一环，其任务是为NWP模型提供准确的初始条件。ADAF数据集为此提出了一种基于人工智能的数据同化框架，利用该数据集，研究者可以开展高分辨率分析场生成的研究。经典使用场景包括对地表天气观测数据、卫星图像、背景场数据以及地形数据的综合应用，以实现对极端天气事件如台风的准确重构。

实际应用

实际应用中，ADAF数据集可应用于气象预报部门，以增强天气预报的实时性和准确性。它能在大约两秒内完成三小时窗口内大量观测数据的同化，为极端天气事件的预警和应对提供有力支持。

衍生相关工作

基于ADAF数据集，研究者已开展了一系列相关工作，如进一步探索人工智能在数据同化中的应用、开发更高效的模型结构以及优化训练策略等。这些衍生工作不断推动着数据同化技术的发展，为天气预报和相关领域的研究提供了新的视角和方法。