AGCD_WB

AGCD-WB是一个领域特定的气象叙事资源，源于论文《AGCD: Agent-Guided Cross-modal Decoding for Weather Forecasting》。该数据集将每六小时一次的WeatherBench/ERA5大气状态与四个变量特定的描述以及一个评估器修订的综合气象叙事对齐。每个记录还保留了用于生成MMNP热图输入的场标识和固定渲染规范。数据集配置为5.625度分辨率（32×64经纬度网格），时间频率为6小时，包含四个变量：地表2米温度（T2m）、10米风速大小、500 hPa位势高度（Z500）和850 hPa温度（T850）。变量描述由InternVL3.5-8B模型生成，顺序集成由Qwen3-VL-8B模型执行，集成顺序为T2m、10米风速、Z500、T850。数据集总共有55,875条完整记录，其中训练集51,696条（1979-01-01至2015-12-31）、验证集1,396条（2016-01-01至2016-12-31）、测试集2,783条（2017-01-01至2018-12-31）。每条JSONL记录包含id、时间戳、时间戳键、划分标识、数据来源信息、渲染场信息、四个变量描述、集成后的最终叙事、生成元数据以及质量控制状态。最终叙事经过MMNP评估器检验，确保每变量覆盖、证据一致性和连贯性，失败类型包括缺失、扭曲、矛盾和过度因果，最多两轮细化后仅接受通过结果。数据集适用于文本生成和时间序列预测任务，语言为英文，标签包括天气、气象、ERA5、WeatherBench和多模态。注意：使用该数据集需遵守上游WeatherBench/ERA5数据集的条款。AGCD-WB is a domain-specific weather narrative resource derived from the paper AGCD: Agent-Guided Cross-modal Decoding for Weather Forecasting. This dataset aligns 6-hourly WeatherBench/ERA5 atmospheric states with four variable-specific descriptions and an evaluator-revised comprehensive weather narrative. Each record also retains field identifiers and fixed rendering specifications for generating MMNP heatmap inputs. The dataset is configured at 5.625-degree resolution (32×64 lat-lon grid) with a 6-hour time frequency, covering four variables: 2-meter temperature (T2m), 10-meter wind speed magnitude, 500 hPa geopotential height (Z500), and 850 hPa temperature (T850). Variable descriptions are generated by the InternVL3.5-8B model, and sequential integration is performed by the Qwen3-VL-8B model in the order of T2m, 10m wind speed, Z500, T850. The dataset contains a total of 55,875 complete records, with 51,696 in the training set (1979-01-01 to 2015-12-31), 1,396 in the validation set (2016-01-01 to 2016-12-31), and 2,783 in the test set (2017-01-01 to 2018-12-31). Each JSONL record includes id, timestamp, timestamp key, split identifier, data source information, rendering field information, four variable descriptions, integrated final narrative, generation metadata, and quality control status. The final narrative is validated by the MMNP evaluator to ensure per-variable coverage, evidence consistency, and coherence, with failure types including missing, distorted, contradictory, and excessive causality. After at most two rounds of refinement, only passed results are accepted. The dataset is suitable for text generation and time series prediction tasks, with language English and tags including weather, meteorology, ERA5, WeatherBench, and multimodal. Note: Use of this dataset must comply with the terms of the upstream WeatherBench/ERA5 datasets.

原始信息汇总

数据集概述

AGCD-WB 是一个面向气象领域的多模态叙述数据集，源自论文 AGCD: Agent-Guided Cross-modal Decoding for Weather Forecasting 第4节所述内容。该数据集将六小时频率的 WeatherBench/ERA5 大气状态与四种变量专属描述以及经过评估器修订的综合气象叙述对齐。

数据规模与划分

• 总记录数：55,875 条完整记录
  • 训练集：51,696 条（1979-01-01 至 2015-12-31）
  • 验证集：1,396 条（2016-01-01 至 2016-12-31）
  • 测试集：2,783 条（2017-01-01 至 2018-12-31）

数据规格

• 空间分辨率：5.625 度（32 x 64 经纬度网格）
• 时间频率：6 小时
• 包含变量：
  • 2 米温度（T2m）
  • 10 米风速大小
  • 500 hPa 位势高度（Z500）
  • 850 hPa 温度（T850）
• 描述生成模型：
  • 变量描述器：InternVL3.5-8B
  • 序列整合模型：Qwen3-VL-8B
  • 整合顺序：T2m → 10 米风速 → Z500 → T850

记录结构

每条 JSONL 记录包含以下字段：

• id、timestamp、timestamp_key、split
• source：数据来源、网格、分辨率及采样频率
• rendered_fields：字段标识、单位、气压层及渲染规格
• variable_descriptions：四个当前状态描述
• final_narrative：整合后的当前状态叙述
• generation_metadata：模型、解码设置及变量顺序
• quality_control：最终 MMNP 评估器状态

叙述仅使用输入时间戳对应的大气状态，不包含未来观测或预测目标。

MMNP 评估器

存储的 final_narrative 为实验所用的评估器修订后最终 MMNP 输出，每条记录均标记 evaluator_status = "PASS" 和 final_narrative_state = "evaluator_revised_final"。

评估流程（scripts/mmnp_evaluator.py）：

• InternVL3.5-8B 检查各变量覆盖度、证据一致性和连贯性
• 失败类型包括：missing、distorted、contradictory、overstated-causality
• Qwen3-VL-8B 仅执行局部最小修订
• 最多进行两轮修订，仅接受 PASS 结果作为最终输出

两个模型在隔离进程中运行于不同 GPU 设备组，避免将两个 8B 检查点加载到同一设备内存。

确定性渲染

渲染器在所有样本中使用固定投影、颜色映射和归一化范围，不重新分发原始数值 ERA5 数组和完整渲染图像集，但可通过脚本从 WeatherBench/ERA5 字段重建热力图。

注意：渲染器仅处理 10 米风速大小，不包含风向信息，因此文本生成和评估不得推断方向性流动、辐合/辐散或方向性切变。

仓库内容

• data/：训练、验证和测试 JSONL 分片
• config/：数据集规范及 MMNP 提示模板
• scripts/：MMNP 评估器及确定性字段渲染器
• examples/：每个发布变量的参考渲染图

数据来源条款

AGCD-WB 源自 WeatherBench/ERA5，用户需自行遵守上游数据集的使用条款和署名要求。本仓库不重新分发原始数值 ERA5 数组。

搜集汇总

数据集介绍

构建方式

AGCD-WB的构建根植于气象学与跨模态学习交叉领域，以六小时分辨率的WeatherBench/ERA5大气状态为数值基础，经由InternVL3.5-8B对T2m、10米风速幅值、Z500与T850四个变量分别生成当前状态描述，再由Qwen3-VL-8B依T2m、风速、Z500、T850的顺序进行序列化整合，并以MMNP评估器对每则综合叙述执行覆盖性、一致性与连贯性校验，失败样本按缺失、失真、矛盾、因果夸大四类驱动最小化局部修订，至多两轮迭代后仅保留PASS结果，最终形成变量描述与评估器修订叙述严格对齐的55,875条记录。

特点

该数据集的核心特质在于时空覆盖与语义约束的双重完备：训练、验证、测试分别覆盖1979至2015年、2016年及2017至2018年，频率为六小时，空间分辨率为5.625度，共32×64经纬网格；每条记录完整保留来源网格、单位、气压层与固定渲染规范，变量描述与综合气象叙述均不引入未来观测或预报目标，从而杜绝时序信息泄漏；叙述性文本仅基于输入时刻的大气状态，并附有生成模型、解码设置、变量顺序及质量控制的最终评估状态，兼具多模态对齐与可追溯性。

使用方法

使用时可依托gzip与json模块逐行读取JSONL分片，直接访问timestamp、final_narrative等字段；渲染流程通过scripts/render_fields.py从WeatherBench/ERA5数据重建热力图，输入表面数组须为(3,32,64)、高空数组须为(5,13,32,64)且字段顺序严格遵循配置规范，其中10米风仅表示为速度幅值，不包含风向信息，故文本生成与评估不得推断方向性流场、辐合辐散或方向切变；质量复现可运行scripts/mmnp_evaluator.py，以逗号分隔的设备列表隔离评估与整合模型于不同GPU进程，输出日志记录校验、定向修订与最终状态，供后续实验核验与扩展。

背景与挑战

背景概述

气象预报领域长期面临多模态数据融合与跨变量语义对齐的难题。AGCD-WB数据集由AGCD框架的研究团队于2024年构建，旨在服务于基于Agent引导的跨模态解码气象预报研究。该数据集将六小时分辨率的WeatherBench/ERA5大气状态与变量特定描述及评估器修订的综合气象叙事相对齐，覆盖1979至2018年共55,875条记录。其核心贡献在于为气象文本生成与时间序列预测任务提供了高质量的多模态叙事基准，推动了气象领域跨模态理解与生成的研究进程。

当前挑战

AGCD-WB所应对的领域问题在于如何从多变量大气状态中生成准确且连贯的气象叙事，这要求模型同时理解温度、风速、位势高度等多维物理场并转化为自然语言描述。构建过程中，挑战体现在：确保变量描述与原始状态之间的一致性，避免因渲染规范固定而丢失方向性信息（如风速仅有大小无方向）；评估器需在有限轮次内识别并修正缺失、失真、矛盾及过度因果等错误，同时维持叙事的科学准确性与语言流畅性。

常用场景

经典使用场景

在气象预报与多模态学习交叉领域，AGCD-WB数据集最经典的使用场景在于支撑跨模态气象叙事生成任务。该数据集将六小时分辨率的WeatherBench/ERA5大气状态与变量级描述及评估器修订后的综合气象叙事相对齐，使得模型能够学习从数值场到自然语言描述的映射关系。研究者通常利用其训练集进行条件文本生成，验证集与测试集则用于评估模型在时间外推条件下的叙事连贯性与气象要素一致性，从而推动气象领域多模态理解与生成能力的发展。

实际应用

在实际业务场景中，AGCD-WB数据集可服务于气象预报辅助决策系统、自动化天气简报生成以及公众气象服务内容的智能化生产。基于该数据集训练的模型能够将复杂的数值预报产品转化为通俗易懂的气象叙事，辅助预报员快速把握关键天气形势。同时，其确定性渲染规范与评估器机制为业务系统提供了可复现、可审计的生成流程，有助于提升气象信息传播的效率与可靠性。

衍生相关工作

AGCD-WB数据集衍生了一系列围绕多模态气象叙事生成与评估的经典工作。其配套的MMNP评估器与定向修正循环为后续研究提供了可扩展的质量控制范式，启发了针对气象文本的事实一致性校验方法。此外，该数据集所采用的变量描述器与序列集成框架已被借鉴至其他地球科学领域的跨模态任务中，推动了代理引导式跨模态解码技术在气象及相关学科中的深入探索。