SyedNazmusSakib/PlantExpertVQA

PlantExpertVQA是一个用于植物病害诊断的大规模视觉问答（VQA）数据集，基于45个开源图像库构建。问题涵盖9个类别，分布在3个认知复杂度级别（基础、分析、推理），并基于一个包含203张专家策划卡片的结构化病害知识库。每个问答对都经过执业植物学家的两阶段领域专家评审。--- 授权协议: CC BY 4.0（知识共享署名4.0） 任务类别: - 视觉问答（Visual Question Answering, VQA） 语言: - 英语 美观名称: PlantExpertVQA 标签: - 植物病害 - 植物病理学 - 农业 - 多模态 - 视觉语言 - 细粒度识别 样本规模: - 10万<n<100万 配置项: - 配置名称: 默认 数据文件: - 划分集: 训练集 路径: data/train.csv - 划分集: 验证集 路径: data/val.csv - 划分集: 测试集 路径: data/test.csv --- # PlantExpertVQA 这是一款用于植物病害诊断的大规模视觉问答（Visual Question Answering, VQA）数据集，依托45个开源图像库构建而成。数据集的问题涵盖9个类别，分为3个认知复杂度层级，所有问题均基于由203张专家精心整理的结构化病害知识库卡片生成。每一组问答对均经过两名执业植物学家分阶段的领域专家审核。 ## 数据集概览 | 属性 | 数值 | |---|---| | 总问答对数量 | 760,672 | | 总图像数 | 207,533 | | 作物种类 | 38种 | | 病害类型 | 89种 | | 知识库卡片数 | 203张 | | 问题类别 | 9类（分3个认知层级） | | 数据集划分比例 | 70/10/20（训练集/验证集/测试集） | | 图像来源 | 45个开源数据集 | | 授权协议 | CC BY 4.0 | ## 数据集划分 | 划分集 | 问答对数量 | 图像数 | |---|---|---| | 训练集 | 532,370 | 105,111 | | 验证集 | 75,990 | 15,015 | | 测试集 | 152,312 | 30,035 | 本次划分采用**图像层级分层策略**——单张图像仅会出现在一个划分集中。分层策略在问题类别、作物种类、病害类型以及来源数据集维度上均保持平衡。 ## 问题类别 数据集的问题遵循布鲁姆认知层级体系，分为**3个认知层级**，具体分类如下： | 层级 | 类别 | 描述 | |---|---|---| | **L1 基础层级** | 存在性与合理性校验 | 确认图像中包含植物样本 | | **L1 基础层级** | 作物种类识别 | 识别图像中的宿主作物 | | **L1 基础层级** | 整体健康评估 | 健康与病害的二元判断 | | **L2 分析层级** | 视觉属性定位 | 检测图像中的特定可见症状 | | **L2 分析层级** | 详细验证 | 验证指定的作物-病害组合 | | **L3 推理层级** | 特定病害识别 | 无候选选项的开放式病害诊断 | | **L3 推理层级** | 全面描述 | 包含严重程度的整体病情描述 | | **L3 推理层级** | 因果推理 | 确定致病原与相关风险因素 | | **L3 推理层级** | 反事实推理 | 针对假设的健康状态进行推理 | ## 数据结构 `train.csv`、`val.csv`与`test.csv`中的每一行均包含以下列： | 列名 | 描述 | |---|---| | `qa_id` | 唯一问答对UUID | | `image_id` | 图像文件名 | | `image_path` | 图像相对路径（格式为`images/<filename>`） | | `crop` | 作物种类（例如：`tomato`（番茄）、`apple`（苹果）） | | `disease` | 病害或状态标签 | | `category` | 大类标签：`disease`（病害）、`healthy`（健康）或`senescence`（衰老） | | `severity` | 严重程度：`MILD`（轻度）/`MODERATE`（中度）/`SEVERE`（重度）/`HEALTHY`（健康）/`UNKNOWN`（未知） | | `question_text` | 问题文本 | | `answer` | 标准答案 | | `answer_type` | 回答类型：`open`（开放式）、`closed`（封闭式）或`free_form`（自由形式） | | `question_category` | 上述9个问题类别之一 | | `cognitive_level` | 认知层级：`Level 1 (Foundational)`（层级1（基础））/`Level 2 (Analysis)`（层级2（分析））/`Level 3 (Reasoning)`（层级3（推理）） | | `dataset_source` | 数据集来源：`PlantVQA`（知识库生成）或`PlantVillageVQA` | ## 病害知识库 `disease_kb/`目录包含**203个JSON格式的知识库卡片**，覆盖38种作物与89种病害。每张卡片包含以下信息： - 病原体分类学信息与传播途径 - 器官特异性视觉症状（叶片、茎秆、果实、根系） - 严重程度分级标准（轻度/中度/重度，附带量化阈值） - 易混淆病害及其关键区分特征 - 农业、生物与化学防治策略 卡片按照`disease_kb/<crop>/<disease>.json`的结构组织，并汇总于`disease_kb/all_cards.jsonl`。 ## 零样本基准测试结果 本次评估基于测试集中的250张图像（对应1,178组问答对），主要评价指标为**ROUGE-L**。各模型的测试结果如下： | 模型 | EM | Token-F1 | BLEU-1 | BLEU-2 | ROUGE-L | BERTScore | |---|---|---|---|---|---|---| | Gemma-3-4B-IT | 2.04 | 17.72 | 31.19 | 4.77 | **15.26** | **11.20** | | Qwen3-VL-2B-Instruct | 3.29 | **17.88** | **37.18** | **6.63** | 14.54 | 8.53 | | Qwen2-VL-2B-Instruct | **8.91** | 13.76 | 36.57 | 3.23 | 13.16 | 7.95 | | LLaVA-1.6 Mistral-7B | 0.90 | 14.07 | 24.42 | 4.36 | 10.26 | 7.26 | | LLaVA-1.5-7B | 7.39 | 10.21 | 26.87 | 0.58 | 9.87 | 3.15 | | InstructBLIP Vicuna-7B | 6.54 | 9.70 | 28.53 | 2.18 | 9.40 | −0.92 | | BLIP-2 FlanT5-XL | 3.57 | 9.92 | 28.20 | 2.13 | 8.98 | −2.74 | | CLIP ViT-L/14 | 3.31 | 7.44 | 15.30 | 2.27 | 6.95 | 3.48 | | BLIP VQA Large | 5.43 | 6.65 | 21.41 | 0.04 | 6.64 | −1.59 | ### 微调实验（Qwen3-VL-2B、LoRA（Low-Rank Adaptation，低秩适配），基于500张图像子集） | 设置 | EM | Token-F1 | BLEU-1 | BLEU-2 | ROUGE-L | BERTScore | |---|---|---|---|---|---|---| | 零样本最优结果 | 2.04 | 17.72 | 31.19 | 4.77 | 15.26 | 11.20 | | **微调后结果** | **18.85** | **64.65** | **66.18** | **41.74** | **61.70** | **63.27** | 仅基于500张图像（对应2,337组问答对）进行参数高效的LoRA微调，即可使ROUGE-L指标较最优零样本模型提升**4倍**。 ## 使用方法 使用Pandas库加载数据集： python import pandas as pd train = pd.read_csv("data/train.csv") val = pd.read_csv("data/val.csv") test = pd.read_csv("data/test.csv") print(train.head()) print(train['question_category'].value_counts()) 使用Hugging Face `datasets`库加载数据集： python from datasets import load_dataset ds = load_dataset("SyedNazmusSakib/PlantExpertVQA") print(ds['train'][0]) ## 仓库结构 PlantExpertVQA/ ├── images/ # 207,533张植物病害图像（.jpg / .JPG） ├── disease_kb/ # 203个JSON格式知识库卡片 │ ├── all_cards.jsonl │ └── <crop>/<disease>.json └── data/ ├── train.csv / train.jsonl (532,370组问答对) ├── val.csv / val.jsonl ( 75,990组问答对) ├── test.csv / test.jsonl (152,312组问答对) └── split_statistics.json ## 引用格式 bibtex @article{sakib2025plantvillagevqa, title={PlantVillageVQA: A Visual Question Answering Dataset for Benchmarking Vision-Language Models in Plant Science}, author={Sakib, Syed Nazmus and Haque, Nafiul and Hossain, Mohammad Zabed and Arman, Shifat E}, journal={arXiv preprint arXiv:2508.17117}, year={2025} } ## 授权协议 本数据集采用[知识共享署名4.0国际（CC BY 4.0）](https://creativecommons.org/licenses/by/4.0/)协议发布。 所有组成源数据集均采用宽松的开源许可（CC0、CC BY 4.0或CC BY-NC 3.0），数据集元数据中保留了每张图像的完整来源信息。