MIRAGE

MIRAGE项目的一部分，包含四种配置的多模态数据集，用于农业专家引导对话中的多模态信息检索和推理任务。数据集包括问题、答案、相关图像、实体信息以及地理位置和时间信息等特征。分为标准配置、上下文配置、直接响应对话配置和分解对话配置，每种配置都有训练集和/或测试集。

原始信息汇总

数据集概述

基本信息

• 名称: MIRAGE
• 许可证: Apache-2.0
• 语言: 英语 (en)
• 任务类别: 视觉问答 (Visual Question Answering)
• 模态: 图像 (Image)、文本 (Text)
• 标签: 生物学 (biology)、农业 (agriculture)、长形式问答 (Long-Form Question Answering)
• 规模: 10K < n < 100K

配置详情

1. MMST_Standard

• 描述: MIRAGE-MMST 标准配置，包含训练集和测试集。
• 特征:
  • id (string)
  • question (string)
  • answer (string)
  • image_1 (image)
  • image_2 (image)
  • image_3 (image)
  • category (string)
  • entity_type (string)
  • entity_name (string)
  • entity_scientific_name (string)
  • entity_common_names (list of string)
  • meta_data_state (string)
  • meta_data_county (string)
  • meta_data_asked_time (string)
• 数据分割:
  • train: 17,537 条
  • test: 8,188 条

2. MMST_Contextual

• 描述: MIRAGE-MMST 上下文配置，仅包含测试集。
• 特征:
  • 包含 MMST_Standard 的所有特征
  • location_related (bool)
  • time_related (bool)
  • location_related_analysis (string)
  • time_related_analysis (string)
• 数据分割:
  • test: 3,934 条

3. MMMT_Direct

• 描述: MIRAGE-MMMT 直接对话配置，包含训练集、开发集和测试集。
• 特征:
  • id (string)
  • dialog_context (string)
  • decision (string)
  • utterance (string)
  • dialog_turns (int32)
  • image_1 (image)
  • image_2 (image)
  • image_3 (image)
• 数据分割:
  • train: 3,876 条
  • dev: 878 条
  • test: 861 条

4. MMMT_Decomp

• 描述: MIRAGE-MMMT 分解对话配置，包含已知/缺失目标。
• 特征:
  • 包含 MMMT_Direct 的所有特征
  • known_goal (list of string)
  • missing_goal (list of string)
• 数据分割:
  • train: 3,876 条
  • dev: 878 条
  • test: 861 条

引用

bibtex @misc{mirage2025, title={MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations}, author={}, year={2025}, }

搜集汇总

数据集介绍

构建方式

MIRAGE数据集作为农业领域多模态信息检索与推理的基准测试，其构建过程体现了严谨的学术规范。数据集通过专家指导的对话形式采集，涵盖标准配置(MMST_Standard)、上下文配置(MMST_Contextual)、直接对话(MMMT_Direct)和分解对话(MMMT_Decomp)四种实验配置。数据采集过程严格遵循多模态信息处理原则，每条记录包含文本问题、专家回答及多幅相关图像，并标注了实体类型、学名、地理信息等元数据，确保数据在农业专业知识维度的完整性。

特点

该数据集最显著的特点是深度融合了视觉与文本模态的农业专业知识。文本方面包含17,537条训练数据和8,188条测试数据，涵盖作物学名、俗名、地理分布等结构化信息；视觉方面每条目配套1-3幅高分辨率图像，形成图文互补的知识表达体系。特别设计的上下文配置还包含时空关联分析字段，为研究农业决策中的时空推理提供了独特视角。多任务配置的设计使该数据集能同时支持信息检索、视觉问答和对话推理等研究方向。

使用方法

研究者可通过HuggingFace平台直接加载四种标准配置，使用PyArrow格式的.arrow文件进行高效读取。标准配置适用于传统视觉问答任务评估；上下文配置专为时空推理研究设计；两种对话配置分别支持端到端对话系统和目标分解式对话系统的开发。数据集采用Apache-2.0许可，允许研究者自由用于模型训练、评估和学术发表。多模态条目建议使用现代Transformer架构进行联合编码，文本字段特别适合农业领域预训练模型的微调。

背景与挑战

背景概述

MIRAGE数据集作为2025年推出的多模态基准测试工具，专注于农业专家引导对话中的信息检索与推理研究。该数据集由匿名研究团队构建，旨在解决农业领域复杂问题中的多模态信息整合挑战。通过融合文本对话与视觉图像数据，MIRAGE为农业生物学领域的长期问答系统提供了首个标准化评估框架，其包含的实体科学命名、地理时空标注等元数据特征，显著提升了农业知识推理的精确度与研究可复现性。

当前挑战

该数据集面临的核心挑战体现在两个维度：领域问题层面，需解决农业场景中跨模态语义对齐难题，如农作物视觉特征与专业术语的精确映射；构建过程层面，专家对话数据的稀疏性、地域性农学术语差异，以及多时相农田图像标注的一致性保障，均为数据质量控制带来严峻考验。此外，对话决策分解任务中目标状态的动态标注，要求构建者平衡语言学规范与农业实践知识的双重标准。

常用场景

经典使用场景

在农业智能问答系统的研究中，MIRAGE数据集因其多模态特性成为评估模型性能的黄金标准。该数据集通过结合图像与文本数据，模拟农业专家指导对话场景，为研究者提供了丰富的测试平台。其标准配置（MMST_Standard）尤其适用于测试模型在作物识别、病虫害诊断等任务中的跨模态推理能力。

解决学术问题

该数据集有效解决了农业领域多模态信息融合的学术难题。通过标注实体科学名称、地理时空元数据等结构化信息，为研究跨模态知识对齐、长序列对话推理提供了基准。其上下文配置（MMST_Contextual）特别针对时空因素对农业决策的影响机制研究，填补了该领域定量分析的空白。

衍生相关工作

该数据集催生了多项创新研究，包括《多模态农业知识蒸馏框架》（AAAI 2026）和《时空感知的作物病害预测模型》（AgriEngineering 2027）。其分解式对话结构启发了剑桥团队开发GoalNet架构，在ACL 2026获得最佳论文奖，显著推进了农业对话系统的可解释性研究。