AQ-MedAI/RAG-OmniQA

这是一个包含6个广泛使用的开放域问答和检索评估数据集的集合：2WikiMultihopQA、HotpotQA、Musique、PopQA、TrivialQA和PubMedQA。每个数据集包含查询、正确答案、包含正确答案证据的文档以及与查询相关但不包含正确答案的干扰文档。此外，还提供了一个来自维基百科的统一文档池，用于检索。

This collection includes 6 widely-used datasets for open-domain question answering and retrieval evaluation: 2WikiMultihopQA, HotpotQA, Musique, PopQA, TrivialQA, and PubMedQA. Each dataset contains a query, the correct answer(s), documents that contain evidence for the correct answer, and distractor documents that are related to the query but do not contain the correct answer. In addition, a unified document pool derived from Wikipedia is provided for retrieval.

搜集汇总

数据集介绍

构建方式

在开放域问答与检索评估领域，构建一个全面且具有挑战性的基准数据集对于推动模型发展至关重要。AQ-MedAI/RAG-OmniQA数据集整合了六个广泛使用的开放域问答数据集，包括2WikiMultihopQA、HotpotQA、Musique、PopQA、TrivialQA和PubMedQA，覆盖多跳推理、单跳问答及医学领域等多样化场景。每个样本包含query、groundtruth、golden_docs和noise_docs四个字段，其中golden_docs提供支持答案的证据文档，noise_docs则引入与查询相关但不含正确答案的干扰文档，从而能够同时评估模型的检索准确性和答案生成能力。此外，数据集还提供了一个基于维基百科的统一文档池，该文档池已通过Contriever进行预检索处理，便于研究人员直接集成到检索与问答管线中。

特点

该数据集最突出的特点在于其多维度的评测能力与医学领域的专项覆盖。通过融合多跳推理（如2WikiMultihopQA、HotpotQA、Musique）、单跳问答（如PopQA、TrivialQA）以及医学领域（PubMedQA）的多样化任务，RAG-OmniQA能够全面衡量模型在复杂推理、事实性检索和领域特定知识上的表现。每个样本精心设计了golden_docs与noise_docs，使得评测不仅关注答案的正确性，更深入考察模型在噪声干扰下的检索鲁棒性。此外，数据集附带的排行榜展示了多种先进模型（如DeepSeekR1、GPT-4.1、Meta-Llama-3等）在各项任务上的性能对比，为研究者提供了清晰的性能参考基线。

使用方法

使用RAG-OmniQA数据集进行评测十分便捷。首先，通过git clone命令克隆官方评测代码库RagQALeaderboard，并安装所需依赖。随后，使用HuggingFace CLI下载数据集文件。运行评测时，只需执行eval.py脚本并指定模型名称、模型路径以及待评测的数据集（如hotpotqa、popqa等），即可自动完成评估。用户还可通过修改config目录下的配置文件（如api_prompt_config_en.json）来定制评估参数。评测完成后，系统会在reports目录下生成HTML报告和JSON结果，便于直观分析模型性能。数据集的JSONL文件结构清晰，支持即插即用，极大降低了研究者的使用门槛。

背景与挑战

背景概述

检索增强生成（Retrieval-Augmented Generation, RAG）作为缓解大语言模型知识幻觉与时效性瓶颈的关键范式，已在开放域问答领域展现出巨大潜力。然而，现有评测体系多聚焦于单一跳或通用领域，缺乏对多跳推理与医学专业场景的全面覆盖。在此背景下，由AQ-MedAI团队于2025年构建的RAG-OmniQA数据集应运而生，其核心研究问题在于系统评估模型在异构问答任务上的综合能力。该数据集巧妙整合了2WikiMultiHopQA、HotpotQA、Musique等经典多跳数据集，PopQA、TrivialQA等单跳基准，以及PubMedQA这一医学领域标杆，构建了一个涵盖六项子任务、统一字段格式的评测框架。通过提供包含支持文档与干扰文档的标准化结构，该数据集为RAG系统的检索精度与生成质量提供了多维度度量，其配套的排行榜已吸引DeepSeek、GPT-4.1等前沿模型参与，正逐步成为评估开放域问答系统鲁棒性与泛化能力的重要平台。

当前挑战

RAG-OmniQA数据集所面临的挑战主要体现在两个层面。在领域问题层面，其旨在解决的复合型问答评测存在显著困难：多跳推理要求模型在分散的文档间建立逻辑链条，而医学领域问答则对知识准确性提出苛刻要求，两者结合使得模型在兼顾检索效率与推理深度时往往顾此失彼。当前排行榜显示，即便顶尖模型在多跳任务与单跳任务间也存在高达十余个百分点的性能落差，医学领域表现更呈现明显波动。在数据集构建过程中，挑战同样严峻：如何从维基百科等异构来源中提取高质量的支持文档与干扰文档，并确保不同数据集间字段格式的统一性与可迁移性，需要精细的预处理流程。此外，当前医学领域仅包含PubMedQA单一来源，样本多样性不足可能导致评测结果的偶然性，团队已计划扩充相关数据集以增强评估的稳健性。

常用场景

经典使用场景

RAG-OmniQA数据集的核心应用在于为检索增强生成（RAG）系统构建一个涵盖多跳推理、单跳问答与医学领域问答的综合性评测基准。该数据集巧妙融合了2WikiMultiHopQA、HotpotQA、Musique等经典多跳推理任务，以及PopQA、TrivialQA等单跳问答任务，并特别引入PubMedQA以聚焦医学领域。通过精心设计的查询、标准答案、支持文档与干扰文档结构，研究者得以系统性地评估RAG模型在复杂信息整合与精确检索上的能力。其统一文档池源自维基百科，并经Contriever预索引，极大便利了端到端检索与生成流水线的实验与对比。

实际应用

在实际应用中，RAG-OmniQA直接服务于需要可靠知识支撑的智能问答系统开发，尤其在医疗、法律、金融等高风险领域。例如，在临床辅助决策场景中，基于该数据集训练的模型能够从海量医学文献中精确检索并整合多源证据，为医生提供循证答案。其干扰文档设计模拟了真实信息环境中噪声与冗余并存的情境，使模型在部署时更具抗干扰能力。此外，该数据集配套的自动化评测工具与可视化报告生成功能，降低了企业级RAG系统从研发到上线的工程门槛，加速了智能客服、知识图谱问答等产品的迭代优化。

衍生相关工作

围绕RAG-OmniQA已衍生出一系列富有影响力的研究工作，主要集中在RAG系统性能对比与模型优化两个方向。基于该数据集的排行榜系统吸引了DeepSeekR1、GPT-4.1、Qwen3等前沿模型参与评测，揭示了不同架构在多跳推理与医学问答上的性能差异。相关工作包括针对检索器与生成器联合训练的策略探索，如PA-RAG方法在Meta-Llama-3-8B上的应用，以及无思考模式（Nothink）变体对推理效率的影响分析。这些工作不仅验证了数据集的基准价值，还催生了面向特定领域（如医学）的检索增强微调范式，为后续研究提供了可横向比较的起点。