apac-nwp-forecast-archive

APAC NWP Forecast Archive是一个针对亚太地区（纬度-44至46度，经度92至154度，涵盖日本、台湾、东南亚、澳大利亚及周边陆地）的数值天气预报存档数据集。该数据集每小时存档一次，每6小时从多个天气模型收集数据，专门为太阳能应用选取了相关变量，包括辐照度、温度、云量等，且仅包含陆地网格点。数据来源于Open-Meteo开放数据分发平台，并使用其开源工具链导出。存档以每次模型运行为单位积累文件，形成了“初始化时间×提前期”的历史预报记录，这对于无法从再分析数据重建的预报校正或模型融合机器学习应用非常有用。数据集包含来自德国气象局、美国国家海洋和大气管理局、日本气象厅和欧洲中期天气预报中心的多个全球和区域模型，空间分辨率从约5公里到25公里不等，预报时长从3天到15天。数据采用Parquet格式存储，按模型、年、月进行Hive风格分区。每条记录代表一个陆地网格点在一个预报小时的状态，包含位置ID、经纬度、高程、时间戳以及一系列用于太阳能预测的气象变量，如短波辐射、直接辐射、漫射辐射、温度、湿度、风速、气压、降水和各层云量。数据集采用CC BY 4.0许可，使用时需保留对原始数据提供方的署名。APAC NWP Forecast Archive is a numerical weather prediction archival dataset targeting the Asia-Pacific region, spanning latitudes from -44° to 46° and longitudes from 92° to 154°, covering Japan, Taiwan, Southeast Asia, Australia and their adjacent land areas. The dataset is archived hourly, with data collected from multiple weather models every 6 hours. Relevant variables specifically selected for solar energy applications include irradiance, temperature, cloud cover and others, and the dataset only contains land grid points. It is sourced from the Open-Meteo open data distribution platform and exported using its open-source toolchain. Files are accumulated per model run, forming historical forecast records structured as "initialization time × lead time", which is highly valuable for forecast correction or model fusion machine learning applications that cannot be reconstructed from reanalysis data. The dataset includes multiple global and regional models from the German Meteorological Service (DWD), National Oceanic and Atmospheric Administration (NOAA), Japan Meteorological Agency (JMA) and European Centre for Medium-Range Weather Forecasts (ECMWF), with spatial resolutions ranging from approximately 5 km to 25 km and forecast lead times from 3 days to 15 days. The data is stored in Parquet format and partitioned in Hive-style by model, year and month. Each record represents the state of a land grid point at a forecast hour, including location ID, latitude and longitude, elevation, timestamp, and a suite of meteorological variables for solar energy forecasting, such as shortwave radiation, direct radiation, diffuse radiation, temperature, humidity, wind speed, atmospheric pressure, precipitation and cloud cover at various layers. The dataset is licensed under CC BY 4.0, and attribution to the original data providers is required upon usage.

原始信息汇总

数据集概述：APAC NWP Forecast Archive

基本信息

• 数据集名称: APAC NWP Forecast Archive
• 语言: 英文
• 许可协议: CC BY 4.0
• 标签: weather, forecast, nwp, solar-energy, time-series, open-meteo

数据集描述

该数据集包含了亚太地区（纬度 −44…46，经度 92…154 — 覆盖日本、台湾、东南亚、澳大利亚及周边陆地）的逐小时数值天气预报（NWP）预报数据。数据每6小时从多个天气模型归档一次，变量专为太阳能应用（辐照度、温度、云量等）选取，仅包含陆地格点。数据源来自 Open-Meteo 开放数据分发，并通过开源 open-meteo 工具链导出。归档数据为每个模型每次运行生成一个文件，形成 init_time × lead_time 的历史预报记录，适用于无法从再分析数据重建的预报校正/模型融合机器学习任务。

模型列表

模型	提供方	分辨率	每日运行次数	存储时长	辐射数据来源
dwd_icon	德国气象局（DWD）	0.125°（~11 km）	4	7天	直接辐射和散射辐射为原生
ncep_gfs013	美国国家海洋和大气管理局（NOAA）	~0.117°（~13 km）	4	7天	散射辐射原生，直接辐射 = 总辐射 − 散射辐射
jma_msm	日本气象厅（JMA）	0.0625°×0.05°（~5 km），网格范围 22.4–47.6°N 120–150°E	8	3天（依赖运行，见注释）	总辐射原生；直接/散射辐射通过分离模型计算
ecmwf_ifs025	欧洲中期天气预报中心（ECMWF）	0.25°（~25 km）	4	15天，3小时间隔行	总辐射原生；直接/散射辐射通过分离模型计算

注释：

• ECMWF AIFS（ecmwf_aifs025_single）归档至2026-06-13后停止收录，保留已有文件，因其与 dynamical.org 的 "ECMWF AIFS Single Forecast" Zarr 归档重复。
• JMA MSM 和 APAC 区域 ICON 预报在该数据集中无公开等价数据。
• 超出各模型原生逐小时范围的预报值（ICON >78 h，GFS >120 h）由 Open-Meteo 使用太阳几何感知的晴空指数方法（辐射）或 Hermite 插值（其他变量）从3小时间隔插值得到。
• jma_msm 的预报时长随运行交替（00/12 UTC 运行：78 h；其他运行：39 h），文件存在变化的 NaN 尾部。
• NaN 尾部出现在请求窗口超过可用预报时长时，删除 NaN 行可获取干净数据。
• 两个 ECMWF 数据集时间步长较粗（3 h / 6 h 行），其余模型均为逐小时行。
• AIFS 为数据驱动（AI）模型，中期趋势预报技能强，但场比物理模型更平滑。

数据目录结构

data/ model=dwd_icon/year=2026/month=06/20260612T00Z.parquet model=ncep_gfs013/year=2026/month=06/20260612T00Z.parquet model=jma_msm/year=2026/month=06/20260612T03Z.parquet

使用 Hive 风格分区：model、year、month 在使用通配符读取时作为列存在，支持 DuckDB/pyarrow/Spark 等引擎的分区过滤。文件名表示模型运行初始化时间（UTC），例如 20260612T00Z 表示2026-06-12的00z运行。若同一运行被抓取两次，新抓取的文件覆盖旧文件。每个文件过滤为 time >= run_init，所有行均为预报小时（lead_time >= 0）。对于 jma_msm，源滚动数据库将最新短运行（近几小时）与之前00/12 UTC主运行（超出短运行39 h时长的部分）混合。

数据模式（每行 = 一个陆地格点在一个预报小时的数据）

列名	类型	描述
location_id	int32	模型网格中的格点索引
latitude, longitude	float32	格点坐标（度）
elevation	float32	模型网格单元海拔（米）；陆/海由模型陆面分数掩膜决定（≥50%为陆地）
time	timestamp (UTC)	预报有效时间
shortwave_radiation_wattPerSquareMetre	uint16	总辐射（GHI），前一小时的向后平均
direct_radiation_wattPerSquareMetre	uint16	直接水平辐照度
diffuse_radiation_wattPerSquareMetre	uint16	散射辐照度
direct_normal_irradiance_wattPerSquareMetre	uint16	直接法向辐照度（DNI，太阳高度角<5°时不稳定，使用前请过滤）
temperature_2m_celsius	float32	2米气温
relative_humidity_2m_percentage	uint8	2米相对湿度
wind_speed_10m_metrePerSecond	float32	10米风速
surface_pressure_hectopascal	float32	地表气压
precipitation_millimetre	float32	小时降水量
cloud_cover_percentage (+ _low/_mid/_high)	uint8	云量（含低/中/高层）
run_init, scraped_at	timestamp (UTC)	模型运行初始化时间 / 管道抓取时间（溯源信息）

各变量值为原始网格单元值（无每坐标海拔降尺度处理）。

使用示例

python import pandas as pd

读取单个文件

df = pd.read_parquet( "hf://datasets/JimTseng/apac-nwp-forecast-archive/data/model=dwd_icon/year=2026/month=06/20260612T00Z.parquet" )

或使用 DuckDB 流式/过滤多个文件

import duckdb con = duckdb.connect() con.sql(""" SELECT * FROM hf://datasets/JimTseng/apac-nwp-forecast-archive/data/model=dwd_icon/year=2026/**/*.parquet WHERE latitude BETWEEN 23 AND 25 AND longitude BETWEEN 120 AND 122 """)

许可与引用

数据许可协议：CC BY 4.0 — 数据来自 Open-Meteo.com，基于 DWD (ICON)、NOAA (GFS) 和 JMA (MSM) 的开放数据。重新分发或展示数据时请保留此引用。

搜集汇总

数据集介绍

构建方式

该数据集专为亚太地区（纬度−44°至46°，经度92°至154°）的太阳能应用而构建，汇集了来自多个数值天气预报（NWP）模型的逐小时预测数据。数据源自Open-Meteo开放数据分发平台，并借助其开源工具链进行导出，每6小时归档一次。数据集以模型初始化时间为文件名，按模型、年份、月份进行Hive风格分区存储，每个文件对应一次模型运行的全部预测时次，从而形成了覆盖初始时间与预测时长的历史预报记录。构建过程中，仅保留陆地网格点数据，且对原生分辨率不足的预测小时数采用基于太阳几何的晴空指数法与埃尔米特插值进行补充。

特点

数据集融合了来自DWD的ICON（0.125°分辨率）、NOAA的GFS（~0.117°分辨率）、JMA的MSM（0.0625°×0.05°分辨率）以及ECMWF的IFS025（0.25°分辨率）四个模型，覆盖从3天至15天不等的预测时长。每个数据行对应一个陆地网格点在特定预测小时的完整气象要素记录，包括太阳辐射（总辐射、直射辐射、散射辐射、法向直射辐照度）、温度、湿度、风速、气压、降水及云量等多维变量。变量以原始网格单元值存储，未进行高程降尺度处理，确保了数据的一致性与可靠性。

使用方法

用户可通过Pandas直接读取单个Parquet文件，例如使用`pd.read_parquet()`指向HuggingFace数据集仓库中的指定文件路径。对于大规模数据流式查询与筛选，推荐使用DuckDB引擎，通过SQL语句在Hive分区通配符路径上进行高效过滤，例如按经纬度范围或时间区间快速检索目标区域数据。数据处理时需注意删除因预测窗口超过模型可用时长而产生的NaN行，并关注jma_msm模型中因不同预测时长交替导致的尾部缺失问题，以确保分析结果的精确性。

背景与挑战

背景概述

在太阳能预测与气象机器学习领域，高分辨率数值天气预报（NWP）数据的系统性归档是支撑模型校正与多模式融合研究的基础资源。由Open-Meteo社区于2026年发布、JimTseng维护的APAC NWP Forecast Archive数据集，针对亚太地区（纬度-44°至46°、经度92°至154°）构建了覆盖日本、台湾、东南亚及澳大利亚等地的陆地网格点历史预报档案。该数据集整合了DWD ICON、NOAA GFS、JMA MSM及ECMWF IFS等四个权威气象模型的逐小时输出，特别筛选了太阳辐射、温度、云量等与太阳能应用紧密相关的变量，并以Hive风格分区存储为Parquet格式，为时间序列分析与机器学习驱动的预报校正提供了标准化、可追溯的数据基础。其设计填补了传统再分析数据无法重建的历史预报动态记录空白，对提升亚太地区可再生能源预测精度具有重要推动作用。

当前挑战

该数据集面临的多维度挑战主要围绕领域应用与构建过程展开。在领域层面，首要解决的是数值天气预报初始误差与模式偏差导致的太阳能功率预测不准确问题，通过多模型集成学习校正系统性偏移，但不同模型（如物理驱动的ICON与数据驱动的AIFS）在时空分辨率（3至6小时步长差异）与辐射参数化方案（部分模型直接辐射需通过分离模型推导）上的不一致性，增加了融合难度。构建过程中挑战更为复杂：需处理JMA MSM因运行周期交替（00/12 UTC达78小时，其余仅39小时）导致的变长NaN尾段；ECMWF数据集（3小时步长与AIFS的6小时步长）与逐小时模型的混合存储；以及Open-Meteo对超出原生范围的小时值采用太阳几何感知晴空指数插值方法，虽保障了日总量可靠性，却平滑了亚3小时云变异性，可能弱化精细时间尺度上的预报修正能力。

常用场景

经典使用场景

APAC NWP Forecast Archive数据集专为亚太地区的太阳能应用而构建，其核心使用场景涵盖了基于数值天气预报（NWP）的太阳辐照度预测、光伏发电功率预估以及对流层气象要素的时空建模。该数据集汇集了来自DWD ICON、NOAA GFS、JMA MSM和ECMWF IFS四种全球或区域数值模型的逐小时预报场，变量选取聚焦于太阳辐射（如全球水平辐照度、直接辐射、散射辐射和法向直接辐照度）、云量分层、地表温度、湿度和气压等关键物理量。研究者常利用该数据集训练模型以校正不同预报源的系统性偏差，或在无实测辐照度站点区域构建鲁棒的太阳能资源评估模型，从而为亚太地区——尤其是东南亚岛屿和澳大利亚内陆——的太阳能并网调度提供高分辨率的时序气象基准。

解决学术问题

该数据集解决了多个核心学术难题：首先，它填补了亚太海域与陆地交界地带高分辨率NWP历史预报归档的空白，使得研究者能够量化不同数值模型在该区域的预报误差结构与时空相关性，特别是针对太阳辐射这一高度依赖云微物理过程且具有强日变化特征的变量。其次，数据集的多源并存特性为模型融合、预报后处理与偏差校正提供了理想的基准平台——传统的再分析资料无法再现实时预报的初始化误差与模式漂移，而APAC归档则完整保留了不同运行时刻的预报序列，使得研究者可以探索基于机器学习的时变权重集成方法，有效抑制单一模式的系统性高估或低估。此外，数据集中ICON和JMA MSM预报域在公开数据集中的独特性，使得针对日本、台湾、东南亚群岛等高分辨率地形区域的对流尺度预报校验成为可能，推动了区域尺度太阳能资源波动性研究的深入。

衍生相关工作

该数据集的发布催生了以下几类经典相关工作：基于多模式融合的太阳能辐照度后处理方法，如采用门控循环单元（GRU）对ICON、GFS和IFS的辐照度预报进行动态加权集成，并在台湾和澳大利亚站点验证了其相较于单模式20%以上的均方根误差降低；面向NWP不确定性的概率预测模型，常利用APAC归档中的时序集合特征（如不同预报初始时刻的辐照度发散程度）来构建分位数回归森林；高分辨率云量校正方法，通过对比数据集中三个高度层云覆盖预报与实际卫星观测的偏差，设计出针对低云量的深度学习校正模块，显著提升了季风季节的直接辐射预报精度。此外，部分工作将该数据集与Open-Meteo的观测归档结合，用于训练短时临近预报模型的迁移学习初始权重，从而在站点稀少的太平洋岛屿实现可靠的辐射场插值。