allenai/quac

Question Answering in Context 是一个用于建模、理解和参与信息寻求对话的数据集。数据实例由两个众包工作者之间的交互对话组成：一个是学生，提出一系列自由形式的问题以尽可能多地了解隐藏的维基百科文本；另一个是教师，通过提供文本中的简短摘录来回答问题。QuAC引入了现有机器理解数据集中未发现的挑战：其问题通常更开放、无法回答或仅在对话上下文中有意义。数据集的结构包括对话ID、维基百科页面标题、背景、部分标题、上下文、对话轮次ID、问题、后续问题、是/否问题、答案等字段。数据集分为训练集、验证集和测试集，训练集包含83,568个问题（11,567个对话），验证集和测试集分别包含7,354个和7,353个问题。

原始信息汇总

数据集概述

名称: Question Answering in Context (QuAC)

语言: 英语 (en)

许可证: MIT

多语言性: 单语种

大小: 10K<n<100K

来源数据集: 扩展自Wikipedia

任务类别:

• 问答
• 文本生成
• 填空

任务ID:

• 对话建模
• 抽取式问答

论文代码ID: quac

美观名称: Question Answering in Context

数据集结构

数据实例

数据实例包括对话ID、Wikipedia页面标题、背景信息、章节标题、上下文、对话轮次ID、问题、跟进动作、是/否回答以及答案。

数据字段

• dialogue_id: 对话ID
• wikipedia_page_title: Wikipedia页面标题
• background: 主要Wikipedia文章的第一段
• section_title: Wikipedia章节标题
• context: Wikipedia章节文本
• turn_ids: 对话轮次ID列表
• questions: 对话中的问题列表
• followups: 对话中的跟进动作列表
• yesnos: 对话中的是/否回答列表
• answers: 问题答案字典，包括答案开始位置和文本
• orig_answers: 原始答案字典，包括答案开始位置和文本

数据分割

• 训练集: 包含83,568个问题（11,567个对话）
• 验证集: 包含7,354个问题（1,000个对话）
• 测试集: 包含7,353个问题（1,002个对话）

数据集创建

许可证信息

数据集遵循MIT许可证。

引用信息

@inproceedings{choi-etal-2018-quac, title = "{Q}u{AC}: Question Answering in Context", author = "Choi, Eunsol and He, He and Iyyer, Mohit and Yatskar, Mark and Yih, Wen-tau and Choi, Yejin and Liang, Percy and Zettlemoyer, Luke", booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing", month = oct # "-" # nov, year = "2018", address = "Brussels, Belgium", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/D18-1241", doi = "10.18653/v1/D18-1241", pages = "2174--2184", abstract = "We present QuAC, a dataset for Question Answering in Context that contains 14K information-seeking QA dialogs (100K questions in total). The dialogs involve two crowd workers: (1) a student who poses a sequence of freeform questions to learn as much as possible about a hidden Wikipedia text, and (2) a teacher who answers the questions by providing short excerpts from the text. QuAC introduces challenges not found in existing machine comprehension datasets: its questions are often more open-ended, unanswerable, or only meaningful within the dialog context, as we show in a detailed qualitative evaluation. We also report results for a number of reference models, including a recently state-of-the-art reading comprehension architecture extended to model dialog context. Our best model underperforms humans by 20 F1, suggesting that there is significant room for future work on this data. Dataset, baseline, and leaderboard available at url{http://quac.ai}.", }

搜集汇总

数据集介绍

构建方式

在对话式问答研究领域，QuAC数据集的构建体现了对交互式信息探索的精细模拟。该数据集通过众包平台，模拟了师生互动的教学场景：一名学生针对隐藏的维基百科文本段落提出一系列自由形式的问题，而另一名教师则从文本中提取简短摘录作为回答。数据源选自数千篇维基百科文章，确保了内容的多样性与真实性。构建过程中，对话双方均无法看到对方的完整视角，从而自然产生了开放性强、依赖上下文且可能无法直接回答的问题序列，这种设计巧妙地捕捉了真实信息寻求对话的动态特性。

特点

QuAC数据集的显著特点在于其深度嵌入了对话上下文，超越了传统单轮问答的局限。每个数据实例不仅包含当前问题与对应文本，还完整记录了对话历史，使得问题往往具有开放性或仅在前序交流中才有意义。数据集特别标注了跟进意图与是否性问题，并引入了“无法回答”的类别，这真实反映了信息寻求过程中常见的模糊性与不确定性。其规模涵盖数万组问答对，源自大量独立维基百科章节，确保了话题的广泛覆盖与评估的可靠性。

使用方法

使用QuAC数据集时，研究者可将其应用于对话建模与抽取式问答任务。典型流程包括加载数据分割，利用对话ID、问题序列、上下文及历史回答等字段构建模型输入。评估时需注意，开发集与测试集每个章节仅对应一个对话，且提供多个参考答案以提升评估稳健性。官方提供了专用评分脚本，研究者可通过提交预测答案跨度至公开排行榜，在隐藏测试集上进行性能评测。该数据集支持对模型在连贯对话中理解上下文、处理模糊查询及识别不可回答问题能力的深入考察。

背景与挑战

背景概述

在自然语言处理领域，对话式问答系统旨在模拟人类信息寻求过程中的交互复杂性。由艾伦人工智能研究所于2018年发布的QuAC数据集，标志着该领域从静态问答向动态对话理解的范式转变。该数据集通过众包方式构建，模拟了学生与教师围绕维基百科文本展开的多轮问答对话，其核心研究问题聚焦于如何在连续对话语境中实现精准的答案抽取与上下文推理。QuAC的诞生推动了对话式机器阅读理解模型的发展，为研究开放领域对话中的指代消解、话题连贯性及未回答问题处理等关键问题提供了重要基准。

当前挑战

QuAC数据集所应对的领域挑战在于处理对话语境中特有的复杂问题类型，包括开放性问题、无法回答的问题以及依赖对话历史的上下文相关问题，这要求模型具备超越单轮问答的深层推理与语境整合能力。在构建过程中，挑战主要体现在众包标注的设计与质量控制上，需要确保学生提问的自然性与教师的答案跨度准确性，同时维持多轮对话的连贯性与信息增量。此外，数据集的评估需处理答案的多样性与模糊性，这增加了自动评价的难度，促使研究者开发更精细的评估指标以衡量模型在真实对话场景中的表现。

常用场景

经典使用场景

在对话式问答研究领域，QuAC数据集作为一项关键资源，其经典使用场景聚焦于评估和训练模型在信息寻求对话中的表现。该数据集模拟了真实的人机交互场景，其中学生通过一系列自由形式的问题探索隐藏的维基百科文本，而教师则从文本中提取简短摘录作为回答。这种设置使得模型必须理解对话历史，处理开放式问题，并识别无法回答或仅依赖于上下文的问题，从而推动了对话式机器阅读理解技术的发展。

衍生相关工作

围绕QuAC数据集，学术界衍生了一系列经典研究工作，显著推动了对话式问答模型的演进。例如，基于BERT和RoBERTa的预训练模型被扩展以纳入对话历史，如FlowQA和HGN等架构专门设计了处理多轮问答的机制。这些工作不仅提升了模型在QuAC排行榜上的性能，还启发了后续如CoQA和SQuAD 2.0等数据集的改进。此外，研究还探索了对抗性训练和强化学习方法来处理数据中的无法回答问题，为对话系统的鲁棒性和泛化能力奠定了理论基础。

数据集最近研究

最新研究方向

在对话式问答领域，QuAC数据集因其独特的对话上下文依赖性而成为前沿研究的焦点。当前研究正致力于开发能够理解多轮对话中复杂指代和上下文连贯性的模型，以应对开放性问题与不可回答场景的挑战。随着大语言模型的兴起，研究者利用QuAC探索对话历史的长距离依赖建模，提升模型在信息检索式对话中的推理能力。这一方向不仅推动了对话系统向更自然、更智能的方向演进，也为教育辅助和智能客服等应用场景提供了关键技术支撑。