MultiHop-RAG

MultiHop-RAG是由香港科技大学开发的一个专注于多跳查询的RAG（Retrieval-Augmented Generation）数据集。该数据集包含一个知识库、大量多跳查询、它们的正确答案以及相关的支持证据。数据集的构建过程利用了英语新闻文章数据集作为基础知识库。MultiHop-RAG旨在解决现有RAG系统在处理需要检索和推理多条支持证据的多跳查询时的不足。数据集的应用领域包括推理、比较和时序查询，旨在评估和提升大型语言模型在实际应用中的性能。MultiHop-RAG is a Retrieval-Augmented Generation (RAG) dataset focused on multi-hop queries, developed by The Hong Kong University of Science and Technology. This dataset includes a knowledge base, a large number of multi-hop queries, their correct answers, and relevant supporting evidence. The dataset was constructed using English news article datasets as the underlying knowledge base. MultiHop-RAG aims to address the shortcomings of existing RAG systems when handling multi-hop queries that require retrieving and reasoning over multiple supporting evidence pieces. Its application areas cover reasoning, comparative, and temporal queries, and it is designed to evaluate and improve the performance of large language models (LLMs) in real-world applications.

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）系统日益普及的背景下，MultiHop-RAG 数据集的构建旨在填补多跳查询评估的空白。该数据集以英文新闻文章为基础知识库，通过系统化流程构建多跳查询。首先，从新闻文章中提取事实性句子作为证据；随后，利用 GPT-4 将每条证据重述为明确的声明，并识别其中的桥接实体或桥接主题，这些桥接元素用于链接不同证据。接着，基于共享的桥接实体或主题，将相关声明分组，并利用 GPT-4 生成涵盖推理、比较、时间及空查询四种类型的多跳查询及其答案。最后，通过人工审查与 GPT-4 自动评估相结合的方式进行质量验证，确保查询的多样性与准确性。

特点

MultiHop-RAG 数据集的核心特点在于其专注于多跳查询的复杂性与多样性。该数据集包含 2,556 个多跳查询，覆盖推理、比较、时间及空查询四种类型，其中非空查询占比约 88%，模拟了真实场景中用户需跨多文档检索与推理的需求。查询形式多样，涉及不同疑问词，且所需证据数量从 2 条到 4 条不等，增强了评估的挑战性。知识库基于 609 篇新闻文章构建，涵盖科技、娱乐、体育等多个类别，文章发布时间刻意选择在主流大语言模型知识截止日期之后，以减少模型训练数据的影响，确保评估的纯净性。

使用方法

MultiHop-RAG 数据集主要用于评估 RAG 系统在多跳查询上的性能，涵盖检索与生成两大任务。在检索任务中，研究者可测试不同嵌入模型在向量数据库中检索相关证据的能力，使用平均精度、命中率等指标进行评估。在生成任务中，可将检索到的证据输入各种大语言模型，评估其基于多证据推理生成答案的准确性。此外，数据集支持对查询分解、智能体规划等高级 RAG 技术进行探索。使用时常需结合如 LlamaIndex 等框架，通过设置检索块大小、选择嵌入模型等参数，模拟真实 RAG 管道，全面衡量系统在处理复杂多跳查询时的效能与局限。

背景与挑战

背景概述

随着大语言模型在自然语言处理领域的广泛应用，检索增强生成技术应运而生，旨在通过整合外部知识库来提升模型生成内容的准确性与可靠性，从而有效缓解模型幻觉问题。MultiHop-RAG数据集由香港科技大学的研究团队于2024年创建，其核心研究聚焦于多跳查询场景下的检索与推理能力评估。该数据集以新闻文章为知识基础，构建了涵盖推理、比较、时序及无效查询四类多跳问题，填补了现有RAG基准在多跳复杂查询评估方面的空白，为推进检索增强生成系统的实际应用提供了关键资源。

当前挑战

MultiHop-RAG数据集所针对的多跳查询问题，其核心挑战在于模型需从分散的文档中检索多个证据片段并进行跨文档逻辑推理，这对传统基于相似度匹配的检索方法构成了显著障碍。在构建过程中，研究团队面临证据提取与语义一致性维护的难题，需通过自动化流程与人工校验确保查询与证据的精准对齐。此外，数据集的创建还需克服时间窗口选择与训练数据污染的潜在风险，以确保评估结果的可靠性与泛化能力。

常用场景

经典使用场景

在检索增强生成（RAG）系统的评估与优化领域，MultiHop-RAG数据集被广泛应用于基准测试多跳查询的检索与推理能力。该数据集通过构建包含新闻文章的知识库，以及需要跨多个文档证据进行推理的复杂查询，为研究者提供了一个标准化的测试平台。经典使用场景包括评估不同嵌入模型在检索多跳证据时的性能，以及测试各类大语言模型在给定证据下的推理与回答准确性，从而系统性地揭示现有RAG方法在处理多跳查询时的局限与改进空间。

解决学术问题

MultiHop-RAG数据集主要解决了检索增强生成系统中多跳查询评估的学术空白。传统RAG基准多聚焦于单证据检索与回答，难以反映现实场景中需要综合多源信息进行复杂推理的需求。该数据集通过精心构建的推理、比较、时序及空值四类多跳查询，为学术界提供了衡量模型跨文档检索精度与多步推理能力的可靠工具。其意义在于推动了RAG系统向更复杂、更贴近实际应用的方向发展，并为缓解大语言模型幻觉问题提供了细粒度的评估依据。

衍生相关工作

基于MultiHop-RAG数据集，研究者已衍生出一系列聚焦多跳检索与推理的经典工作。这些工作主要围绕提升嵌入模型在多跳场景下的检索效果、优化大语言模型对多证据的融合推理能力，以及开发新型查询分解与智能体规划方法。例如，部分研究借鉴该数据集的构建逻辑，进一步扩展了查询类型与证据数量；另一些工作则利用其评估框架，探索了混合检索策略与迭代检索机制在复杂问答中的潜力，持续推动着RAG技术向更深层次的推理与交互演进。