ArchivalQA

ArchivalQA是由京都大学创建的大型问答数据集，包含532,444个问题-答案对，专为历史新闻问答设计。数据集根据问题难度和时间表达式的包含情况分为四个子部分，有助于训练和测试不同强项和能力的开放域问答系统。该数据集利用自动问题生成和一系列精心设计的过滤步骤来生成高质量、无歧义的问题，适用于教育领域，如支持考试问题的生成。ArchivalQA is a large-scale question answering dataset developed by Kyoto University, containing 532,444 question-answer pairs and specifically designed for historical news-based question answering. The dataset is divided into four subsets based on question difficulty and the presence of temporal expressions, which helps train and test open-domain question answering systems with varying strengths and capabilities. This dataset employs automatic question generation and a series of meticulously designed filtering steps to produce high-quality, unambiguous questions applicable to educational scenarios such as assisting in the generation of exam questions.

搜集汇总

数据集介绍

构建方式

ArchivalQA数据集的构建主要分为以下几个步骤：首先，从纽约时报标注语料库中选取文章，这些文章覆盖了从1987年到2007年间的新闻事件。其次，利用神经网络模型T5-base从文章的段落中自动生成候选问题。然后，通过一系列精心设计的过滤步骤，例如去除重复问题、去除包含模糊指代词的问题、将相对时间信息转换为绝对时间信息等，从生成的候选问题中筛选出高质量的问题。最后，将筛选后的数据集随机分为训练集、验证集和测试集。

特点

ArchivalQA数据集具有以下特点：首先，它是目前最大的开放域问答数据集之一，覆盖了长达20年的新闻事件，提供了对过去事件的详细问题。其次，数据集中的问题经过精心设计，倾向于具有明确的答案，适合用于教育和评估学生的知识。此外，数据集还包含与时间相关的问题，这对于研究新闻问答系统在处理长期时间序列数据方面的能力具有重要意义。

使用方法

ArchivalQA数据集可用于训练开放域问答系统的信息检索和机器阅读理解模块。由于数据集涵盖了长时间跨度的事件，因此它对于训练能够处理高度变化上下文和丰富时间信号的系统特别有用。此外，该数据集还可用于测试和比较不同问答系统的性能，并可根据问题的难度和时间成分进行更精细的评估。

背景与挑战

背景概述

开放域问答（ODQA）作为自然语言处理领域的一个重要研究方向，近年来取得了快速发展。然而，现有的ODQA数据集主要针对同步文档集合（例如维基百科）构建，而针对长期新闻档案等历史文档集合的ODQA数据集却相对匮乏。为了推动ODQA在历史新闻档案上的研究，王婕馨等人于2022年提出了ArchivalQA数据集。该数据集包含532,444个问答对，基于纽约时报注释语料库构建，涵盖了1987年至2007年间的新闻文章，旨在为ODQA系统提供丰富的历史事件信息。ArchivalQA数据集的构建框架采用半自动方式，结合自动问题生成和一系列精心设计的过滤步骤，确保了问题的质量和非歧义性，对相关领域的研究具有重要影响力。

当前挑战

ArchivalQA数据集面临的主要挑战包括：1）历史新闻档案的规模庞大且内容复杂，如何有效地利用这些档案进行问答系统训练是一个难题；2）现有的问答数据集大多基于同步文档集合构建，缺乏针对历史文档集合的ODQA数据集，导致ODQA系统在历史新闻档案上的性能表现不佳；3）历史新闻档案中存在大量的时间表达，如何有效地处理这些时间信息，并利用时间信息提高问答系统的性能是一个挑战；4）自动生成的问题可能存在歧义性，如何确保问题的质量和非歧义性也是一个挑战。

常用场景

经典使用场景

ArchivalQA 数据集为开放领域问答 (ODQA) 系统提供了一个大规模的基准测试数据集，旨在解决历史新闻档案中问答的挑战。该数据集包含 532,444 个问答对，涵盖了从 1987 年到 2007 年的纽约时报新闻文章，为研究 ODQA 系统在历史新闻档案中的应用提供了宝贵资源。

解决学术问题

ArchivalQA 数据集解决了现有问答数据集在处理历史新闻档案时存在的不足。首先，它克服了现有数据集主要针对同步文档集合（例如维基百科）的局限性，而是专注于长期新闻档案。其次，ArchivalQA 数据集通过精心设计的过滤步骤，生成高质量、非歧义的问题，有助于训练和测试具有不同能力和优势的 ODQA 系统。最后，ArchivalQA 数据集考虑并缓解了时间歧义问题的挑战，这对于长期时间数据集（如新闻档案）尤为重要。

衍生相关工作

ArchivalQA 数据集的发布推动了开放领域问答领域的研究进展，并衍生出许多相关的工作。例如，一些研究使用 ArchivalQA 数据集评估和比较不同 ODQA 模型的性能，并提出改进模型的方法。此外，ArchivalQA 数据集还被用于开发新的问答技术，例如时间推理、实体识别等。