FlameVQA
收藏资源简介：
FlameVQA是由克莱姆森大学研究团队构建的专用于野火监测的视觉问答基准数据集，基于FLAME 3公开数据集中的同步航空RGB与辐射热成像图像对开发。该数据集包含约6,100个多模态样本，每个样本配备34个精心设计的多项选择题，涵盖存在检测、分类、分布估计、空间定位、跨模态推理和飞行规划六大能力维度，问题总数达20余万条。数据创建过程采用混合标注策略，结合多模态大语言模型生成初始答案，通过确定性热力学规则进行物理验证，并实施跨问题一致性检查与人工审核确保标签可靠性。该数据集主要应用于无人机野火监测领域，旨在评估和提升多模态模型在安全关键场景下的感知与推理能力，解决现有遥感VQA基准在灾害特定领域模态信号利用不足的问题。
FlameVQA is a visual question answering (VQA) benchmark dataset dedicated to wildfire monitoring, developed by a research team at Clemson University. It is constructed using paired synchronous aerial RGB and radiometric thermal imagery from the public FLAME 3 dataset. The dataset contains approximately 6,100 multimodal samples, each paired with 34 well-designed multiple-choice questions covering six capability dimensions: existence detection, classification, distribution estimation, spatial localization, cross-modal reasoning, and flight planning, with a total of over 200,000 questions. The data creation process adopts a hybrid annotation strategy, which combines initial answer generation via multimodal Large Language Models (LLMs), conducts physical validation using deterministic thermodynamic rules, and implements cross-question consistency checks and manual reviews to ensure label reliability. Primarily applied in the field of unmanned aerial vehicle (UAV)-based wildfire monitoring, this dataset aims to evaluate and enhance the perception and reasoning capabilities of multimodal models in safety-critical scenarios, addressing the issue of insufficient utilization of modal signals in disaster-specific domains by existing remote sensing VQA benchmarks.
数据集概述
WildFire VQA 是一个大规模、多模态的视觉问答（VQA）基准数据集，专门用于航空野火监测场景。该数据集结合了辐射热成像与可见光图像，旨在评估大型视觉语言模型（VLM）在多模态野火监测任务上的表现。
数据集发布平台
- Kaggle: https://www.kaggle.com/datasets/caseypiere/wildfire-vqa
- Hugging Face: https://huggingface.co/datasets/mobiiin/WildFire_VQA
同时，项目还关联了FLAME系列公开数据集：
- FLAME-3: https://ieee-dataport.org/open-access/flame-3-radiometric-thermal-uav-imagery-wildfire-management
- FLAME-2: https://ieee-dataport.org/open-access/flame-2-fire-detection-and-modeling-aerial-multi-spectral-image-dataset
- FLAME-1: https://ieee-dataport.org/open-access/flame-dataset-aerial-imagery-pile-burn-detection-using-drones-uavs
数据格式
评估器接受两种JSON格式：
- Checkpoint风格:
{"type":"checkpoint","items":...} - 列表风格:
[{...}, {...}]
每条数据（每行）包含以下必要字段：
question_id: 问题唯一标识符question: 问题内容options: 选项列表（非空）gt_answer或answer: 标准答案rgb_path: RGB图像路径（用于rgb或rgb_thermal模式）thermal_path: 热成像图像路径（用于thermal或rgb_thermal模式）
可选字段：
temp_summary: 温度摘要（包含min,max,mean,top3_mean）
支持的任务与模式
评估管道支持多种输入模态，可用于模型消融实验：
rgb: 仅使用可见光图像thermal: 仅使用热成像图像rgb_thermal: 同时使用可见光与热成像图像
支持的可选消融设置：
- Prompt重复:
--repeat-prompt - 温度摘要:
--no-temp-summary（关闭温度摘要）
支持的模型
| 模型名称 | 对应Hugging Face标识 |
|---|---|
| llava | llava-hf/llava-v1.6-mistral-7b-hf |
| qwen | Qwen/Qwen3-VL-8B-Instruct |
| llama3.2 | meta-llama/Llama-3.2-11B-Vision-Instruct |
| internvl2 | OpenGVLab/InternVL2-8B |
| minicpm | openbmb/MiniCPM-V-2_6 |
| pixtral | mistralai/Pixtral-12B-2409 |
评估输出
每次运行生成的输出文件包括：
*_preds.jsonl: 每个问题的预测结果*_metrics.json: 聚合指标及运行元数据*_dryrun.json: 干运行验证报告（若启用--dry-run）
metrics.json中包含：
overall: 总体准确率by_category: 按类别准确率run_config: 运行配置more_info: 队列、跳过、异常等信息
引用方式
bibtex @misc{habibpour2026wildfirevqalargescaleradiometricthermal, title={WildFireVQA: A Large-Scale Radiometric Thermal VQA Benchmark for Aerial Wildfire Monitoring}, author={Mobin Habibpour and Niloufar Alipour Talemi and John Spodnik and Camren J. Khoury and Fatemeh Afghah}, year={2026}, eprint={2604.20190}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2604.20190}, }
