community-datasets/qangaroo

我们创建了两个新的阅读理解数据集，专注于多跳（即多步）推理。在多跳推理中，新的事实是通过多个步骤结合多个事实得出的。我们的目标是构建能够在文本上进行多跳推理的阅读理解方法，其中各个事实分布在不同的文档中。QAngaroo数据集为这类方法提供了训练和评估资源。

We introduce two novel reading comprehension datasets focused on multi-hop (i.e., multi-step) reasoning. In multi-hop reasoning, novel factual knowledge is derived by integrating multiple facts across multiple reasoning steps. Our goal is to develop reading comprehension methods capable of performing multi-hop reasoning over text, where individual facts are distributed across different documents. The QAngaroo dataset provides training and evaluation resources for such methods.

原始信息汇总

数据集卡片 for "qangaroo"

数据集结构

数据实例

masked_medhop

• 下载的数据文件大小: 339.84 MB
• 生成的数据集大小: 112.63 MB
• 总磁盘使用量: 452.47 MB

masked_wikihop

• 下载的数据文件大小: 339.84 MB
• 生成的数据集大小: 391.98 MB
• 总磁盘使用量: 731.82 MB

medhop

• 下载的数据文件大小: 339.84 MB
• 生成的数据集大小: 110.42 MB
• 总磁盘使用量: 450.26 MB

wikihop

• 下载的数据文件大小: 339.84 MB
• 生成的数据集大小: 366.87 MB
• 总磁盘使用量: 706.71 MB

数据字段

所有拆分的数据字段相同。

masked_medhop

• query: 字符串特征。
• supports: 字符串列表特征。
• candidates: 字符串列表特征。
• answer: 字符串特征。
• id: 字符串特征。

masked_wikihop

• query: 字符串特征。
• supports: 字符串列表特征。
• candidates: 字符串列表特征。
• answer: 字符串特征。
• id: 字符串特征。

medhop

• query: 字符串特征。
• supports: 字符串列表特征。
• candidates: 字符串列表特征。
• answer: 字符串特征。
• id: 字符串特征。

wikihop

• query: 字符串特征。
• supports: 字符串列表特征。
• candidates: 字符串列表特征。
• answer: 字符串特征。
• id: 字符串特征。

数据拆分

name	train	validation
masked_medhop	1620	342
masked_wikihop	43738	5129
medhop	1620	342
wikihop	43738	5129

搜集汇总

数据集介绍

构建方式

在机器阅读理解领域，多跳推理任务要求模型整合分散于不同文档的信息以推导答案。QAngaroo数据集为此类任务提供了系统性的训练与评估资源，其构建过程体现了严谨的学术设计。该数据集包含MedHop与WikiHop两个核心子集，分别基于医学文献与维基百科条目构建，通过精心设计的查询与支持文档集合，模拟真实世界中需要跨文档推理的复杂问题场景。数据实例以结构化形式组织，每个样本均包含查询语句、支持文档列表、候选答案及标注答案，确保了任务的可操作性与评估的准确性。

特点

QAngaroo数据集在机器阅读理解领域展现出鲜明的特色，其核心在于推动多跳推理能力的发展。数据集涵盖MedHop与WikiHop两大子集，并分别提供原始版本与掩码版本，后者通过隐去实体名称以增加推理难度，从而更精细地评估模型的深层理解能力。数据规模适中，训练集与验证集划分清晰，例如WikiHop包含数万样本，为模型训练提供了充足资源。每个数据实例结构统一，包含查询、支持文档、候选答案及标注答案，这种设计使得数据集既能支持端到端的模型训练，又能用于系统性的性能评测。

使用方法

对于致力于多跳推理研究的研究者而言，QAngaroo数据集提供了便捷的使用途径。用户可通过Hugging Face的datasets库直接加载数据，根据任务需求选择medhop、wikihop或其对应的masked版本。每个配置均包含训练集和验证集，数据字段如query、supports、candidates和answer清晰明确，便于模型读取与处理。典型的使用流程包括加载数据、预处理文本、构建能够关联多文档的神经网络模型，并在验证集上评估模型的多步推理性能。该数据集已成为该领域基准测试的重要组成部分。

背景与挑战

背景概述

在自然语言处理领域，多跳推理阅读理解的探索标志着机器理解复杂文本关系的重要进展。QAngaroo数据集由伦敦大学学院的研究团队于2018年创建，旨在解决从分散于多个文档的信息中推导新事实的核心研究问题。该数据集包含MedHop和WikiHop两个子集，分别基于医学文献和维基百科构建，为模型提供了跨越不同文本片段进行逻辑链式推理的训练与评估资源。其出现推动了阅读理解模型从单一文档理解向多文档关联推理的范式转变，对问答系统与知识推理研究产生了深远影响。

当前挑战

多跳阅读理解任务本身要求模型具备跨文档的信息整合与逻辑推理能力，这构成了显著的领域挑战。模型必须识别分散在多个支持文档中的相关事实，并构建连贯的推理路径以得出最终答案，对模型的语义理解和关系建模提出了极高要求。在数据集构建过程中，挑战主要源于高质量多跳问题的设计与标注。创建者需要确保每个问题确实需要多个推理步骤，且支持文档集合既能提供必要信息又避免答案的直接暴露，这一过程涉及复杂的知识抽取与人工验证，以确保数据集的可靠性与难度适宜。

常用场景

经典使用场景

在自然语言处理领域，多跳推理是阅读理解任务中的一项核心挑战，要求模型通过整合分散在不同文档中的信息来推导答案。QAngaroo数据集作为专门针对多跳推理设计的资源，其经典使用场景在于训练和评估能够执行复杂逻辑推理的机器学习模型。该数据集通过提供查询、支持文档和候选答案的结构化数据，促使模型学习跨文档的信息关联与推理链条构建，从而在学术基准测试中衡量模型的多步推理能力。

衍生相关工作

围绕QAngaroo数据集，学术界衍生了一系列经典研究工作，这些工作主要集中在多跳推理模型的架构创新与性能优化上。例如，基于图神经网络的推理框架通过构建文档间的实体关系图来模拟多步推理过程；注意力机制与记忆网络的结合则增强了模型对长距离依赖的捕捉能力。此外，预训练语言模型如BERT和RoBERTa在该数据集上的微调实验，进一步验证了迁移学习在多跳阅读理解任务中的有效性，推动了领域内技术的持续演进。

数据集最近研究

最新研究方向

在机器阅读理解领域，多跳推理任务正成为推动模型深层理解能力发展的关键前沿。QAngaroo数据集作为该领域的代表性资源，其最新研究聚焦于提升模型在分散文本信息中进行复杂逻辑推理的效能。当前热点探索方向包括结合图神经网络与注意力机制，以建模文档间的隐式关联路径，从而解决跨文档实体链接与证据链构建的挑战。随着大语言模型在知识密集型任务中的广泛应用，该数据集亦被用于评估模型在医学与百科领域的事实性推理鲁棒性，其研究进展对构建可解释性强、具备常识推理能力的人工智能系统具有深远意义。