hotpotqa/hotpot_qa

HotpotQA是一个包含113k个基于Wikipedia的问答对的新数据集，具有四个关键特点：(1) 问题需要查找和推理多个支持文档来回答；(2) 问题多样化，不受任何现有知识库或知识模式的限制；(3) 提供了句子级别的支持事实，允许问答系统在强监督下进行推理并解释预测；(4) 提供了一种新类型的事实比较问题，以测试问答系统提取相关事实并进行必要比较的能力。

HotpotQA is a novel dataset consisting of 113k Wikipedia-based question-answer pairs with four key features: (1) Answering the questions requires retrieving and reasoning over multiple supporting documents; (2) The questions are diverse and not constrained by any existing knowledge base or knowledge schema; (3) Sentence-level supporting facts are provided, allowing question answering (QA) systems to conduct reasoning under strong supervision and interpret their predictions; (4) A new type of factual comparison question is introduced to test the ability of QA systems to extract relevant facts and perform necessary comparisons.

原始信息汇总

数据集概述

基本信息

• 数据集名称: HotpotQA
• 语言: 英语
• 许可证: CC BY-SA 4.0
• 多语言性: 单语种
• 标签: multi-hop
• 数据集大小: 100K<n<1M
• 源数据: 原始数据
• 任务类别: 问答

数据集配置

distractor

• 特征:
  • id: 字符串
  • question: 字符串
  • answer: 字符串
  • type: 字符串
  • level: 字符串
  • supporting_facts: 字典，包含 title（字符串）和 sent_id（int32）
  • context: 字典，包含 title（字符串）和 sentences（字符串列表）
• 分割:
  • train: 90447个样本，552949315字节
  • validation: 7405个样本，45716111字节
• 下载大小: 612746344字节
• 数据集大小: 598665426字节

fullwiki

• 特征:
  • id: 字符串
  • question: 字符串
  • answer: 字符串
  • type: 字符串
  • level: 字符串
  • supporting_facts: 字典，包含 title（字符串）和 sent_id（int32）
  • context: 字典，包含 title（字符串）和 sentences（字符串列表）
• 分割:
  • train: 90447个样本，552949315字节
  • validation: 7405个样本，46848601字节
  • test: 7405个样本，46000102字节
• 下载大小: 660094672字节
• 数据集大小: 645798018字节

搜集汇总

数据集介绍

构建方式

HotpotQA数据集通过众包方式构建，包含113,000个基于维基百科的问题-答案对。该数据集的设计旨在测试多跳问答系统的能力，要求系统从多个支持文档中提取信息并进行推理。数据集提供了句子级别的支持事实，以便系统能够进行强监督推理，并解释其预测结果。此外，数据集还引入了新的事实比较问题类型，以测试系统在提取相关事实和进行必要比较方面的能力。

特点

HotpotQA数据集的主要特点包括：（1）问题需要多跳推理，涉及多个支持文档；（2）问题类型多样，不受限于任何预先存在的知识库或知识模式；（3）提供句子级别的支持事实，支持系统的强监督推理和解释；（4）包含新的比较问题类型，测试系统的比较能力。数据集分为两个配置：distractor和fullwiki，分别用于不同的训练和评估场景。

使用方法

HotpotQA数据集适用于多跳问答任务的研究和开发。用户可以通过HuggingFace的datasets库加载数据集，并根据需要选择distractor或fullwiki配置。数据集提供了问题、答案、支持事实和上下文信息，用户可以利用这些信息训练和评估多跳问答模型。数据集的结构清晰，包含训练集、验证集和测试集，方便用户进行模型训练和性能评估。

背景与挑战

背景概述

HotpotQA数据集由Yang等人于2018年创建，旨在推动多跳问答（Multi-hop Question Answering）领域的发展。该数据集包含113,000个基于维基百科的问题-答案对，具有四个核心特征：（1）问题需要从多个支持文档中进行推理；（2）问题类型多样，不受预设知识库或知识模式的限制；（3）提供句子级别的支持事实，便于系统进行强监督推理并解释预测结果；（4）引入事实比较问题，测试系统提取相关事实并进行比较的能力。HotpotQA的发布对问答系统的设计与评估产生了深远影响，尤其是在复杂推理和解释性问答方面。

当前挑战

HotpotQA数据集的主要挑战在于其多跳推理需求，即系统需要从多个文档中提取并整合信息以回答问题。此外，数据集中的问题类型多样，涵盖了事实比较等复杂任务，这对系统的信息提取和推理能力提出了更高要求。在构建过程中，如何确保数据集的多样性和覆盖广泛的知识领域，以及如何有效地标注和验证句子级别的支持事实，也是该数据集面临的重要挑战。这些挑战不仅推动了问答系统的技术进步，也为相关领域的研究提供了丰富的实验平台。

常用场景

经典使用场景

HotpotQA数据集的经典使用场景主要集中在多跳问答（Multi-hop Question Answering）任务中。该数据集通过提供需要多步推理的问题，要求模型不仅能够从多个文档中提取信息，还需进行跨文档的推理以得出最终答案。这种场景特别适用于测试和提升问答系统在复杂推理任务中的表现，尤其是在需要综合多个信息源的情况下。

实际应用

在实际应用中，HotpotQA数据集可以用于构建和优化智能客服系统、知识图谱问答系统以及教育辅助工具等。这些应用场景需要系统具备处理复杂问题的能力，例如在法律咨询、医疗诊断或教育辅导中，用户可能需要系统提供多步骤推理的答案，而HotpotQA正是为此类需求提供了丰富的训练和测试数据。

衍生相关工作

基于HotpotQA数据集，研究者们开发了多种多跳问答模型，如基于图神经网络的推理模型、记忆网络等。这些模型在处理复杂问答任务时表现出色，推动了多跳问答技术的发展。此外，HotpotQA还激发了对解释性问答系统的研究，使得模型不仅能够给出答案，还能解释推理过程，增强了系统的透明性和可信度。