ZhanxiangHua/WeatherQA_SFT

WeatherQA_SFT 是一个基于 WeatherQA 数据集的监督微调（SFT）数据集，采用 sharegpt 格式，专为视觉/多模态语言模型设计。该数据集聚焦于美国本土（CONUS）的严重天气地理位置定位和潜在灾害分析。数据集包含超过7,000个图像-文本对，包括2014年至2019年的训练集和2020年的测试集。图像涵盖了复杂的天气模式，如环境不稳定性参数、地表观测和雷达反射率合成。每个图像都与格式化的文本配对，用于监督微调，基于两步骤的多项选择题问答任务：受影响区域预测和严重对流体分类。该数据集旨在促进开发能够推理动态和复杂气象现象的多模态模型。

WeatherQA_SFT is a supervised fine-tuning (SFT) dataset in sharegpt format derived from the WeatherQA dataset for vision/multimodal language models. It focuses on severe weather geo-localization and potential hazard analysis over the Contiguous United States (CONUS). The dataset contains over 7,000 image-text pairs, including a train set from the year 2014-2019 and a test set for the year 2020. The images encapsulate complex weather patterns, such as environmental instability parameters, surface observations, and radar reflectivity composites. Each image is paired with text formatted for supervised fine-tuning, based on a two-step multiple-choice question-answering task: Affected Area Prediction and Severe Convection Classification. This dataset aims to facilitate the development and evaluation of multimodal models capable of reasoning about dynamic and complex meteorological phenomena.

搜集汇总

数据集介绍

构建方式

WeatherQA_SFT数据集基于WeatherQA基准精心构建，专为视觉/多模态语言模型的监督微调设计。其数据来源于美国本土（CONUS）2014至2019年的训练集与2020年的测试集，涵盖超过7000对图像-文本样本。每幅图像融合了环境不稳定参数、地面观测及雷达反射率复合图等复杂气象模式。构建过程采用两步多项选择问答任务：首先预测受影响的区域，继而评估强对流天气的潜在风险，从而形成结构化的微调格式。

使用方法

使用者可直接加载该数据集的训练与测试分割，应用于多模态语言模型的监督微调。每个样本包含唯一标识符、图像序列及对话结构（from与value字段），其中对话内容围绕两步多项选择问答组织。建议在微调时结合原始WeatherQA基准的评估方法，以验证模型在强天气推理上的表现。具体代码示例及基线模型可参考WeatherQA GitHub仓库，以复现论文中的实验设置。

背景与挑战

背景概述

WeatherQA_SFT数据集由马承乾、华占祥等研究人员于2024年创建，隶属于伊利诺伊大学厄巴纳-香槟分校等机构，旨在推动多模态语言模型在气象学领域的应用。该数据集聚焦于美国本土的恶劣天气地理定位与潜在灾害分析，通过整合环境不稳定参数、地表观测和雷达反射率复合图等复杂气象图像，构建了超过7000个图像-文本对。其核心研究问题在于评估多模态模型能否对动态气象现象进行推理，并完成受影响区域预测与强对流分类的双重任务。作为WeatherQA基准的监督微调版本，该数据集为气象人工智能研究提供了关键资源，有望促进灾害预警与气候理解能力的提升。

当前挑战

当前数据集面临多重挑战：首先，气象图像中的时空动态性要求模型捕捉复杂模式，如风暴演变与多尺度交互，这对现有视觉-语言模型的推理能力构成考验。其次，数据集构建过程中需确保图像标注的精确性，包括从2014至2020年间筛选高影响天气事件，并协调专家知识以定义灾害分类标准，这增加了数据收集与质量控制难度。此外，多模态对齐问题突出，模型需将雷达反射率等专业视觉特征与地理语义相关联，而现有方法在跨领域泛化上仍显不足。最后，测试集仅覆盖2020年数据，可能限制模型对气候变异性的适应能力，亟需扩展时间跨度与地理范围以提升鲁棒性。

常用场景

经典使用场景

WeatherQA_SFT数据集专为视觉与多模态语言模型的监督微调而设计，其核心应用场景在于驱动模型对复杂气象现象进行推理与理解。通过整合环境不稳定性参数、地面观测数据及雷达反射率合成图等多源图像信息，该数据集引导模型完成两阶段多项选择问答任务：首先预测受影响的区域，其次对强对流天气的潜在强度进行分类。这一设计使得模型能够从静态图像中动态解析气象系统的演变规律，从而在气象学与人工智能的交叉领域开辟了新的研究范式。

解决学术问题

该数据集直面气象学中一个长期存在的学术难题：如何让多模态模型具备对强天气事件的时空推理能力。传统方法往往依赖数值预报或人工判读，而WeatherQA_SFT通过结构化问答任务，系统性地评估模型在灾害定位与强度分级上的表现。它填补了视觉语言模型在气象推理领域的基准空白，为研究气候模式识别、灾害预警自动化等议题提供了可复现的实验平台，推动了从图像理解到科学决策的认知跨越。

实际应用

在实际应用中，WeatherQA_SFT所训练的多模态模型可嵌入智能气象预警系统，辅助预报员快速识别龙卷风、冰雹等强对流的潜在影响区域。其区域预测功能有助于紧急管理部门优化资源调配，例如提前部署救援力量或发布针对性警报。此外，该数据集训练的模型还能应用于农业气象服务，通过分析雷达图像评估风暴对农作物的威胁，从而支撑精准农业中的灾害风险管理决策。

数据集最近研究

最新研究方向

在气象科学领域，随着极端天气事件频发，多模态大语言模型在灾害预警与地理定位中的推理能力成为前沿焦点。WeatherQA_SFT数据集基于2014至2020年间美国本土的复杂气象数据，构建了包含环境不稳定参数、地面观测与雷达反射率复合图像的图像-文本对，旨在通过监督微调提升模型对强对流天气的时空推理与危害评估能力。该数据集不仅推动了视觉问答与多模态推理在气象学中的交叉应用，还通过两阶段多选任务设计，促使模型在受灾区域预测与强对流分类中实现更精准的决策。其研究意义在于为灾害响应系统提供可解释的AI辅助工具，有望革新传统天气预报范式，并在应对气候变化引发的极端事件中发挥关键作用。