M3SCIQA
收藏资源简介：
M3SCIQA是由耶鲁大学和Allen Institute for AI共同创建的多模态、多文档科学问答基准数据集，旨在全面评估基础模型在科学文献理解中的表现。该数据集包含1452个专家注释的问题，涵盖70个自然语言处理论文集群，每个集群包含一个主论文及其所有引用的文档。数据集的创建过程模拟了科学研究中的比较分析工作流程，要求模型在多个文档和多种数据格式（如图表）之间进行跨引用和推理。M3SCIQA主要应用于评估和提升基础模型在多模态科学文献分析中的能力，旨在解决当前模型在多文档和多模态信息处理中的不足。
M3SCIQA is a multimodal, multi-document scientific question answering benchmark dataset co-developed by Yale University and the Allen Institute for AI, designed to comprehensively evaluate foundation models' performance in scientific literature understanding. This dataset contains 1,452 expert-annotated questions covering 70 natural language processing (NLP) paper clusters, with each cluster including one core paper and all its cited documents. The dataset creation process simulates the comparative analysis workflow in scientific research, requiring models to perform cross-referencing and reasoning across multiple documents and various data formats such as charts. M3SCIQA is primarily used to evaluate and enhance the capabilities of foundation models in multimodal scientific literature analysis, aiming to address the current shortcomings of existing models in multi-document and multimodal information processing.
M3SciQA 数据集概述
简介
M3SciQA 是一个多模态、多文档的科学问答基准数据集，旨在更全面地评估基础模型。该数据集包含 1,452 个专家注释的问题，涵盖 70 个自然语言处理（NLP）论文集群。每个集群代表一篇主要论文及其所有引用的文档，模拟了通过多模态和多文档数据理解单篇论文的工作流程。
数据集结构
-
数据文件夹 (
data/):locality.jsonl: 包含特定位置的问题。combined_test.jsonl: 包含组合的测试问题。combined_val.jsonl: 包含组合的验证问题。locality/: 包含用于构成特定位置问题的所有图像。
-
结果文件夹 (
results/):- 包含不同设置下的评估结果。
-
源代码文件夹 (
src/):data_utils.py: 数据处理工具。evaluate_detail.py: 用于评估细节特定问题的响应。evaluate_locality.py: 用于评估位置特定问题的响应。generate_detail.py: 用于生成细节特定问题的响应。generate_locality.py: 用于生成位置特定问题的响应。models_w_vision.py: 包含视觉模型的代码。models_wo_vision.py: 不包含视觉模型的代码。
位置特定问题评估
输出格式
json { "question_anchor": "...", "reference_arxiv_id": "...", "reference_s2_id": "...", "response": "..." }
response字段包含模型的输出排名。
响应生成
例如，评估 GPT-4o 的命令： bash cd src python generate_locality.py --model gpt_4_o
响应评估
例如，计算 GPT-4o 的 MRR、NDCG@3 和 Recall@3 的命令：
bash
python evaluate_locality.py
--result_path ../results/locality_response/gpt_4_o.jsonl
--k 3
细节特定问题评估
输出格式
json { "question": "...", "answer": "...", "response": "...", "reference_reasoning_type": "..." }
响应生成
例如，使用 GPT-4 生成响应的命令： bash cd src python generate_detail.py --model gpt_4 --k 3 --chunk_length 15000
响应评估
例如，评估 GPT-4 生成响应的命令： bash python evaluate_detail.py --result_path ../results/retrieval@3/gpt_4.jsonl
- 1M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models耶鲁大学 · 2024年
