IIRC

IIRC是一个由华盛顿大学和艾伦人工智能研究所合作创建的数据集，包含超过13000个基于英文维基百科段落的不完整信息阅读理解问题。该数据集的特点是每个问题都需要从原始段落及其链接的文档中获取缺失信息才能解答，这要求模型具备跨文档的复杂推理能力。数据集的创建过程通过众包完成，确保了问题的自然性和信息寻求性。IIRC主要用于评估和提升机器阅读理解系统在处理不完整信息时的性能，特别是在识别和检索缺失信息以及综合这些信息以回答问题方面的能力。IIRC is a dataset co-created by the University of Washington and the Allen Institute for Artificial Intelligence, containing over 13,000 incomplete-information reading comprehension questions based on English Wikipedia paragraphs. A core characteristic of this dataset is that every question requires obtaining missing information from both the original paragraph and its linked documents to be solved, which demands the model to possess cross-document complex reasoning capabilities. The dataset was developed via crowdsourcing, ensuring the naturalness and information-seeking nature of the questions. IIRC is primarily used to evaluate and improve the performance of machine reading comprehension systems when handling incomplete information, especially their abilities to identify and retrieve missing information and synthesize such information to answer questions.

搜集汇总

数据集介绍

构建方式

IIRC数据集的构建方式独具匠心，它基于英文维基百科中的段落，通过众包方式收集了超过13K个问题。这些问题并非直接从上下文中获取答案，而是需要从链接的文档中寻找缺失的信息。众包工作者在撰写问题时无法访问任何链接文档，导致问题与答案出现的上下文之间的词汇重叠很小。这种构建方式产生了许多无答案的问题，以及需要离散推理的问题，从而增加了任务的难度。

特点

IIRC数据集的特点在于它模拟了人类阅读时的信息获取过程。大多数现有阅读理解任务只关注那些上下文提供了所有必要信息的问题，而IIRC则要求模型识别潜在的信息不足，并定位缺失信息的来源。这使得IIRC成为一个评估模型在开放域和跨文档推理方面能力的强大工具。此外，IIRC中的问题类型多样，包括需要从多个相关文档中聚合信息的问题，这为研究复杂阅读和检索问题提供了新的途径。

使用方法

使用IIRC数据集时，首先需要构建一个能够识别缺失信息并定位信息来源的模型。该模型应该能够处理从多个文档中检索信息并进行复杂推理的任务。评估模型性能时，可以使用精确匹配（EM）和数值聚焦（宏观平均）F1分数等指标。此外，为了克服模型可能存在的偏差，建议将IIRC与其他不需要检索额外信息的阅读理解数据集结合起来进行训练和评估，以检验模型在确定是否需要额外信息方面的能力。

背景与挑战

背景概述

IIRC数据集，全称为Incomplete Information Reading Comprehension，是一个由James Ferguson等人于2020年11月创建的阅读理解数据集。该数据集由来自英文维基百科的段落组成，包含超过13K个问题，这些问题只提供部分信息来回答，而缺失的信息则出现在一个或多个链接的文档中。IIRC旨在填补现有阅读理解任务的空白，这些任务通常只关注那些上下文提供所有必要信息的问题，而忽略了系统识别信息不足和定位信息来源的能力。IIRC数据集由众包工作者编写，这些工作者在编写问题时无法访问任何链接的文档，导致问题与答案出现的上下文之间几乎没有词汇重叠。这种过程也导致了许多无答案的问题，以及需要离散推理的问题，从而增加了任务的难度。

当前挑战

IIRC数据集面临的挑战主要包括：1) 所解决的领域问题是阅读理解，特别是对于那些需要从多个文档中获取信息的问题；2) 构建过程中遇到的挑战包括如何确保问题与答案之间没有词汇重叠，以及如何处理需要离散推理的问题。此外，IIRC数据集还包含大量无答案的问题，以及需要从多个相关文档中汇总信息的问题，这些问题的解决需要复杂的跨文档推理。

常用场景

经典使用场景

IIRC数据集主要用于评估阅读理解模型在处理不完全信息时的能力，即模型能否识别出一个段落中缺少的信息，预测在哪里可以找到这些信息，并将这些信息以复杂的方式进行综合。这要求模型不仅能够理解文本，还能够在多个文档之间进行推理和链接预测。

解决学术问题

IIRC数据集解决了现有的阅读理解任务的一个局限性，即它们通常只关注那些上下文提供了所有必要信息的问题。这使得模型无法评估其在识别潜在的信息不足和定位信息来源方面的性能。IIRC通过提供包含13K多个问题的大型数据集，这些问题只提供部分信息，而缺失的信息出现在一个或多个链接的文档中，填补了这一空白。

衍生相关工作

IIRC数据集的发布引发了一系列相关研究，旨在解决模型在处理不完全信息时的挑战。这些研究包括改进链接预测和文档检索技术，以及开发新的模型架构来更好地理解多文档推理。此外，IIRC数据集还被用于研究模型的可解释性和鲁棒性，以及评估模型在不同类型的问题和文档上的表现。