pape-submission-0812/aorc-texas-downscaling-sample

AORC Texas Climate Downscaling Benchmark是一个用于统计气候降尺度（超分辨率）的基准数据集，基于NOAA AORC 1公里再分析数据，覆盖德克萨斯州区域（2021-2024年）。该数据集支持训练和评估模型，这些模型从低分辨率输入中重建高分辨率（1公里）气象场，支持五种缩放因子（2×、4×、8×、16×、32×）。数据集包含2米气温、近地表比湿和降水率三个变量，以Zarr v2格式存储，总大小约43 GB。空间域包括德克萨斯州的两个子区域（西南和东北），时间范围为2021年至2024年，每小时数据，补丁大小为512×512像素（1公里分辨率）。数据集还提供了训练、验证和测试分割，用于评估模型的时间、空间和分布外泛化能力。--- license: 知识共享署名4.0国际许可协议（CC BY 4.0） task_categories: - 其他 task_ids: [] tags: - 气候 - 降尺度 - 超分辨率 - 气象 - 地理空间 - Zarr pretty_name: AORC德克萨斯州气候降尺度基准数据集 size_categories: - 10吉字节 < 数据量 < 100吉字节 language: [] multilinguality: 单语言 --- # AORC德克萨斯州气候降尺度基准数据集 本数据集是基于美国国家海洋和大气管理局（National Oceanic and Atmospheric Administration, NOAA）AORC 1千米再分析数据构建的统计气候降尺度（超分辨率）基准数据集，覆盖德克萨斯州2021年至2024年的气象数据。该数据集可用于训练和评估模型，支持从粗化后的低分辨率输入重建高分辨率（1千米）气象场，共支持5种缩放因子：2×、4×、8×、16×、32×。 ## 数据集描述 | 字段 | 取值 | |---|---| | **来源** | 美国国家海洋和大气管理局校准记录分析（NOAA Analysis of Record for Calibration, AORC）v1.1版本 | | **空间范围** | 德克萨斯州（包含两个子区域：西南部与东北部），1千米网格 | | **时间范围** | 2021年至2024年，逐小时数据 | | **斑块尺寸** | 1千米分辨率下为512 × 512像素 | | **变量** | 2米气温、近地面比湿、降水率 | | **数据格式** | Zarr v2，float32类型，分块尺寸为(32, 512, 512) | | **总大小** | 约43吉字节（GB） | ## 变量 | 简称 | 全称 | 物理单位 | 归一化方式 | |---|---|---|---| | `temp` | 2米气温 | 开尔文（K） | z分数变换：`(T − 290.58) / 10.01` | | `humidity` | 近地面比湿 | 千克/千克（kg kg⁻¹） | z分数变换：`(q − 6.58×10⁻³) / 4.16×10⁻³` | | `precip` | 降水率 | 毫米/小时（mm h⁻¹） | 先进行log1p变换，再执行z分数变换：`(log1p(p) − 0.01637) / 0.1322` | 归一化统计量仅从**训练集划分**中计算得到，并存储于`stats.json`文件中。Zarr数组中存储的数值均已完成归一化（近似均值为0、方差为1）。 要恢复物理数值： python import numpy as np, json, zarr with open("stats.json") as f: stats = json.load(f) z = zarr.open("processed/train/temp.zarr", "r") y_norm = z[0] # (512, 512)，已归一化的数值 # 2米气温（单位：K） temp_K = y_norm * stats["temp"]["std"] + stats["temp"]["mean"] # 近地面比湿（单位：kg/kg） hum = y_norm * stats["humidity"]["std"] + stats["humidity"]["mean"] # 降水率（单位：mm/h）—— 先撤销z分数变换，再撤销log1p变换 precip_log = y_norm * stats["precip"]["std"] + stats["precip"]["mean"] precip_mmh = np.expm1(precip_log) ## 退化操作 低分辨率输入通过**高斯模糊→步采样子采样→双三次上采样**的操作流程，由高分辨率目标场生成： python from scipy.ndimage import gaussian_filter, zoom def degrade(y_hr, scale): """y_hr: (512,512) 已归一化的高分辨率气象场 → (512,512) 退化后的低分辨率上采样场。""" sigma = 0.5 * scale y_blur = gaussian_filter(y_hr, sigma=sigma) x_lr = y_blur[::scale, ::scale] # 尺寸为(512//scale, 512//scale)的低分辨率场 x_up = zoom(x_lr, scale, order=3)[:512, :512] # 双三次上采样至512×512尺寸 return x_up 支持的缩放因子：**2×、4×、8×、16×、32×**。 ## 数据集划分 | 数据集划分 | 区域 | 年份 | 单变量帧数 | 用途 | |---|---|---|---|---| | `train` | 德克萨斯州西南部 | 2021–2022 | ~29 334 | 模型训练 | | `val` | 德克萨斯州西南部 | 2023 | 8 760 | 模型验证/选型 | | `test_temporal` | 德克萨斯州西南部 | 2024 | 8 784 | 时间泛化测试 | | `test_spatial` | 德克萨斯州东北部 | 2021–2022 | 17 520 | 空间泛化测试 | | `test_ood` | 德克萨斯州东北部 | 2024 | 8 784 | 时空分布外（OOD）测试 | 训练集、验证集、时间泛化测试集共享德克萨斯州西南部区域（空间上属于分布内数据），而空间泛化测试集与分布外测试集则使用未见过的德克萨斯州东北部区域。分布外测试集是难度最高的划分：同时包含未见过的区域**与**未见过的年份。 ## 目录结构 processed/ ├── stats.json ← 归一化统计量（仅来自训练集划分） ├── train/ │ ├── temp.zarr/ ← (29334, 512, 512) float32类型，已完成z分数归一化 │ ├── precip.zarr/ ← (29451, 512, 512) float32类型，已完成log1p + z分数归一化 │ └── humidity.zarr/ ← (29316, 512, 512) float32类型，已完成z分数归一化 ├── val/ │ └── ... ← 相同目录结构，数据量为(8760, 512, 512) ├── test_temporal/ │ └── ... ← 数据量为(8784, 512, 512) ├── test_spatial/ │ └── ... ← 数据量为(17520, 512, 512) └── test_ood/ └── ... ← 数据量为(8784, 512, 512) ## 使用示例 python import zarr, numpy as np from scipy.ndimage import gaussian_filter, zoom # 从训练集划分中加载一批高分辨率气温斑块 z = zarr.open("processed/train/temp.zarr", mode="r") y_batch = z[:32] # (32, 512, 512)，已归一化的批次数据 # 实时生成8倍缩放的低分辨率输入 scale = 8 y_lr_batch = np.stack([ zoom(gaussian_filter(y, 0.5 * scale)[::scale, ::scale], scale, order=3)[:512, :512] for y in y_batch ]) # (32, 512, 512) —— 双三次上采样后的低分辨率场 ## 负责任AI ### 预期用途 气候降尺度研究基准数据集，专为训练和评估气象场的统计降尺度/超分辨率模型设计。 ### 局限性 1. 地理范围仅局限于美国德克萨斯州，模型可能无法泛化至其他区域； 2. 时间范围仅覆盖2021年至2024年，未包含该时间窗口之前的极端历史事件； 3. 基于再分析数据（模型驱动的格点产品）而非直接观测数据，继承了AORC v1.1的偏差； 4. 空间分辨率为1千米，未刻画亚千米级的动力学过程。 ### 敏感属性 无。本数据集不包含任何个人可识别信息，仅为格点化地球物理场数据。 ### 禁止用途 无正式禁止用途。我们不建议将其作为业务天气预报或安全关键决策的唯一依据，除非经过独立验证。 ## 引用 如果使用本数据集，请引用以下文献： bibtex @dataset{ovanger2025aorc, author = {Ovanger, Oscar}, title = {{AORC Texas Climate Downscaling Benchmark}}, year = {2025}, publisher = {Hugging Face}, url = {https://huggingface.co/datasets/oovanger/aorc-texas-downscaling} } ## 许可协议 [知识共享署名4.0国际许可协议（CC BY 4.0）](https://creativecommons.org/licenses/by/4.0/)