mteb/hotpotqa

该数据集是一个用于文本检索任务的英语单语言数据集，源数据集为HotpotQA。数据集包含三个配置：default、corpus和queries。default配置包含query-id、corpus-id和score特征，corpus配置包含_id、title和text特征，queries配置包含_id和text特征。数据集的分割包括train、dev、test、corpus和queries，每个分割都有相应的字节数和示例数。

原始信息汇总

数据集概述

语言和多语言性

• 语言：英语
• 多语言性：单语种

任务类别和ID

• 任务类别：文本检索
• 任务ID：文档检索

配置名称和标签

• 配置名称：corpus
• 标签：文本检索

数据集信息

默认配置

• 特征：
  • query-id：字符串
  • corpus-id：字符串
  • score：浮点数（float64）
• 数据分割：
  • 训练集：
    • 字节数：7987509
    • 样本数：170000
  • 开发集：
    • 字节数：512018
    • 样本数：10894
  • 测试集：
    • 字节数：695504
    • 样本数：14810

语料库配置

• 特征：
  • _id：字符串
  • title：字符串
  • text：字符串
• 数据分割：
  • 语料库：
    • 字节数：1621286119
    • 样本数：5233329

查询配置

• 特征：
  • _id：字符串
  • text：字符串
• 数据分割：
  • 查询：
    • 字节数：13368277
    • 样本数：97852

配置和数据文件

默认配置

• 数据文件：
  • 训练集：qrels/train.jsonl
  • 开发集：qrels/dev.jsonl
  • 测试集：qrels/test.jsonl

语料库配置

• 数据文件：
  • 语料库：corpus.jsonl

查询配置

• 数据文件：
  • 查询：queries.jsonl

搜集汇总

数据集介绍

构建方式

在文本检索与多跳问答研究领域，HotpotQA 作为一项由人工标注的高质量数据集，旨在推动复杂推理与可解释问答系统的发展。其构建方式独具匠心：首先，基于维基百科语料库，精心挑选了涵盖广泛主题的文档作为知识源；继而，通过众包平台招募标注人员，设计需要跨越多个文档进行推理的自然语言问题，并为每个问题提供句子级的支持事实作为强监督信号。数据集划分为训练集（17万样本）、开发集（约1.1万样本）和测试集（约1.5万样本），每个查询均与两个相关文档配对，确保了多跳推理任务的挑战性与标注一致性。最终，以 JSONL 格式存储查询、语料库及相关性判断文件，便于研究者直接使用。

使用方法

使用 HotpotQA 数据集时，研究者可借助 MTEB（Massive Text Embedding Benchmark）框架高效完成评估。通过调用 mteb 库中的 get_tasks 函数获取任务实例，随后利用 MTEB 类创建评估器，并传入预训练的嵌入模型即可启动评测。数据集提供了三个核心配置：default 用于相关性判断，corpus 包含文档标题与内容，queries 存储查询文本。评估过程中，模型需对每个查询从语料库中检索出最相关的文档，并基于支持事实进行多跳推理。开发者可自定义模型加载方式，并通过 run 方法获取标准化的检索与问答性能指标，从而系统性地比较不同嵌入与推理策略的效果。

背景与挑战

背景概述

在自然语言处理领域，多跳问答任务要求模型从多个文档中检索并整合分散的信息以回答复杂问题，这对传统单跳问答系统构成了显著挑战。为填补这一研究空白，由Zhilin Yang、Peng Qi等来自卡内基梅隆大学、斯坦福大学及蒙特利尔大学的研究人员于2018年提出了HotpotQA数据集。该数据集包含约11.3万个基于维基百科的问答对，其核心创新在于问题天然具备多跳特性，且提供了句子级别的支持事实作为强监督信号，从而推动可解释问答系统的发展。HotpotQA不仅成为评估模型多步推理能力的标杆，还催生了大量关于检索增强生成与可解释性方法的研究，对信息检索与问答领域的交叉融合产生了深远影响。

当前挑战

HotpotQA所解决的领域问题在于，传统问答数据集难以评估模型在复杂推理与跨文档信息整合方面的能力，而该数据集通过设计需要多步推理的自然语言问题，迫使模型突破单跳检索的局限。构建过程中面临的核心挑战包括：如何确保问题的多跳性质自然且不依赖预定义知识模式，如何从维基百科中精准标注句子级别的支持事实以提供强监督，以及如何平衡问题的多样性与标注一致性。此外，数据集的规模与复杂结构也对标注效率和资源管理提出了高要求，例如在超过520万个文档中为每对查询标注恰好两个相关文档，同时避免信息冗余或缺失，从而为模型训练与评估构建了严苛的基准环境。

常用场景

经典使用场景

在自然语言处理领域，多跳问答任务要求模型跨越多个文档进行信息整合与逻辑推理，以回答复杂问题。HotpotQA数据集正是为此而生，它提供了大量基于维基百科的人工标注多跳问题，每个问题均关联多个支持文档及句子级证据。其经典使用场景是作为多跳问答系统的标准评测基准，研究者利用该数据集训练和评估模型在跨文档推理、事实抽取与答案生成方面的综合能力，尤其关注模型能否从分散的文本片段中识别并组合关键信息，从而得出准确答案。

解决学术问题

HotpotQA数据集有效解决了传统问答数据集缺乏复杂推理与可解释性支撑的学术困境。在此之前，多数问答任务聚焦于单文档或简单事实查询，难以衡量模型的深层推理水平。该数据集通过精心设计的多跳问题和细粒度的支持事实标注，推动了可解释问答系统的研究进程，使模型不仅能够给出答案，还能追溯并展示推理链条。其意义在于为评估模型的逻辑连贯性、证据整合能力以及跨文档信息检索提供了标准化工具，深刻影响了后续多跳推理与可解释自然语言处理的研究方向。

实际应用

在实际应用中，HotpotQA所倡导的多跳推理能力对于构建智能知识问答系统至关重要。例如，在智能客服、医疗咨询、法律文书分析等场景中，用户提出的问题往往需要综合多个来源的信息才能解答。利用HotpotQA训练出的模型，能够从海量文档库中精准定位相关段落，并自动生成包含推理过程的答案，显著提升信息检索与问答系统的实用性和可信度。此外，该数据集还助力于教育领域的辅助学习系统，帮助学生理解复杂概念之间的关联，推动人机交互向更深层次的理解迈进。

数据集最近研究

最新研究方向

HotpotQA作为多跳推理问答的标杆数据集，当前研究前沿聚焦于利用其复杂推理特性推动可解释人工智能的发展。该数据集的独特之处在于要求模型整合多源文档信息并给出支持性事实，这与大型语言模型在知识图谱构建、多模态推理等热点领域的需求高度契合。近期研究趋势显示，研究者正将HotpotQA与对比学习、检索增强生成技术相结合，探索如何通过结构化知识增强提升模型在长文本推理任务中的泛化能力。作为Massive Text Embedding Benchmark的核心评估任务，该数据集已成为衡量文本嵌入质量与多跳推理能力的重要基准，其影响力在推动可解释问答系统从实验室走向实际应用的过程中持续凸显。