google-research-datasets/disfl_qa

DISFL-QA是一个专门用于理解问答系统中不流畅表达的基准数据集。该数据集基于SQuAD-v2数据集构建，每个问题都被注释以添加上下文不流畅性，使用段落作为干扰源。数据集包含约12k个（不流畅问题，答案）对，其中超过90%的不流畅性是修正或重启，使其成为不流畅性校正的更难测试集。数据集旨在填补语音和NLP研究社区之间的主要差距，并希望作为测试模型对不流畅输入鲁棒性的基准数据集。

DISFL-QA is a targeted dataset for contextual disfluencies in an information seeking setting, namely question answering over Wikipedia passages. Disfl-QA builds upon the SQuAD-v2 dataset, where each question in the dev set is annotated to add a contextual disfluency using the paragraph as a source of distractors. The final dataset consists of ~12k (disfluent question, answer) pairs. Over 90% of the disfluencies are corrections or restarts, making it a much harder test set for disfluency correction. DISFL-QA aims to fill a major gap between speech and NLP research community. The authors hope the dataset can serve as a benchmark dataset for testing robustness of models against disfluent inputs.

原始信息汇总

数据集概述

数据集基本信息

• 名称: DISFL-QA
• 描述: 一个用于理解问答中不流畅表达的基准数据集。
• 语言: 英语
• 许可证: CC BY 4.0
• 多语言性: 单语种
• 大小: 10K<n<100K
• 源数据: 原始数据
• 任务类别: 问答
• 任务ID: 抽取式问答、开放领域问答

数据集结构

数据字段

• squad_v2_id: 字符串类型
• original question: 原始问题，字符串类型
• disfluent question: 不流畅问题，字符串类型
• title: 标题，字符串类型
• context: 上下文，字符串类型
• answers: 包含以下字段
  • text: 答案文本，字符串类型
  • answer_start: 答案起始位置，整数类型

数据分割

• 训练集: 7182个样本，7712523字节
• 测试集: 3643个样本，3865097字节
• 验证集: 1000个样本，1072731字节

数据集创建

数据集来源

• 初始数据收集和规范化: 通过要求人工评分员在SQUAD-v2数据集的问题中插入不流畅表达来构建DISFL-QA数据集。

标注过程

• 标注任务: 每个与段落相关的问题被发送给人工标注任务，以使用段落作为干扰源添加上下文不流畅表达。
• 质量保证: 进行后续的人工评估，并提供重新标注的选项。

许可证信息

• 许可证: CC BY 4.0

引用信息

@inproceedings{gupta-etal-2021-disflqa, title = "{Disfl-QA: A Benchmark Dataset for Understanding Disfluencies in Question Answering}", author = "Gupta, Aditya and Xu, Jiacheng and Upadhyay, Shyam and Yang, Diyi and Faruqui, Manaal", booktitle = "Findings of ACL", year = "2021" }

搜集汇总

数据集介绍

构建方式

在信息检索与自然语言处理交叉领域中，口语化不流畅现象（disfluency）的建模研究长期受限于高质量标注数据的匮乏。Disfl-QA数据集应运而生，旨在弥合语音识别与机器阅读理解之间的鸿沟。该数据集基于SQuAD-v2开发集构建，通过精心设计的人工标注流程实现：标注人员以维基百科段落为干扰源，向原始问题中注入上下文相关的不流畅表达，如修正或重启等类型。为确保数据质量，研究团队随后执行了第二轮人工评估与可选重新标注的验证环节，最终形成了包含约1.2万对（不流畅问题，答案）的高质量语料库，其中超过90%的不流畅现象属于难度较高的修正或重启类型。

使用方法

研究人员可通过HuggingFace Datasets库便捷加载使用Disfl-QA数据集，加载命令为`load_dataset("disfl_qa", split="train")`。数据集采用标准特征结构，包含`squad_v2_id`、`original question`、`disfluent question`、`title`、`context`及`answers`字段，其中`answers`为字典格式，记录答案文本及其在上下文中的起始位置。该数据集主要适用于两项任务：抽取式问答（extractive QA）与开放域问答（open-domain QA）。用户可直接将不流畅问题输入现有问答模型进行评测，或将其作为训练数据增强模型对口语化不流畅输入的鲁棒性。数据集采用CC BY 4.0许可协议，便于学术研究与商业应用。

背景与挑战

背景概述

在自然语言处理与语音社区的交叉领域中，非流利现象（如修正、重复与重启）的理解长期受限于高质量数据集的匮乏。现有语料库多聚焦于对话场景，如SWITCHBOARD语料库中仅5.9%的词汇包含非流利现象，且超过半数为结构简单的重复类型，难以全面反映信息检索场景下非流利输入的复杂性。为填补这一空白，由谷歌研究团队（Aditya Gupta等）于2021年创建的DISFL-QA数据集应运而生。该数据集以SQuAD-v2为基础，通过人工标注在维基百科段落的问题中嵌入上下文相关的非流利现象，构建了约1.2万对（非流利问题，答案）实例。其核心研究问题在于评估并提升现有问答模型对非流利输入的鲁棒性，为语音交互系统与文本理解技术的融合提供了关键基准，显著推动了该领域的研究进展。

当前挑战

DISFL-QA数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，现有最先进的问答模型在面对非流利输入时表现出显著的脆弱性，例如模型常因修正或重启型非流利而错误匹配上下文，导致答案预测偏差，这反映了当前模型在语义鲁棒性与上下文建模上的根本性不足。其次，在数据集构建过程中，挑战集中于确保非流利现象的自然性与多样性：人工标注需利用段落作为干扰源，生成超过90%的修正与重启型非流利，这要求标注者平衡语言真实性与标注一致性；同时，后续的多轮人工审核与重新标注流程虽保障了质量，却大幅增加了构建成本与时间开销，对数据集的规模化扩展构成制约。

常用场景

经典使用场景

Disfl-QA作为首个聚焦信息检索场景中语境不流畅现象的基准数据集，其经典使用场景在于评估和提升自然语言处理模型对口语化、含修正或重复等不流畅表达的鲁棒性。研究者常利用该数据集训练和测试抽取式问答系统，特别是针对那些在标准规范文本上表现优异但在面对诸如“从哪些国家——不，告诉我诺曼人何时在诺曼底？”这类夹杂中断与修正的提问时性能骤降的模型。通过将不流畅问题与原始流畅问题及其对应的维基百科段落配对，该数据集为模拟真实人机交互中常见的言语修复行为提供了标准化的评测平台。

解决学术问题

该数据集填补了语音与自然语言处理研究领域之间的关键空白，解决了长期以来缺乏高质量、大规模、且语境丰富的不流畅问答语料库的学术困境。此前，相关研究多依赖于如SWITCHBOARD等对话语料库，其不流畅类型分布偏斜且领域局限，难以支撑对复杂不流畅现象（如修正与重启）的深入探究。Disfl-QA通过针对SQuAD-v2问题人工注入语境干扰项，构造出超过90%为修正或重启型不流畅的难题集，从而为学界提供了一个严苛的测试基准，用以揭示并剖析当前最先进模型在应对非理想输入时的脆弱性根源。

实际应用

在实际应用中，Disfl-QA所模拟的不流畅问答场景直接映射至语音助手、智能客服及交互式信息检索系统等前沿领域。当用户在与设备对话时产生口误、自我纠正或语句重组，系统需具备实时识别并解析其真实意图的能力。例如，智能音箱在接收到“播放周杰伦的——不，林俊杰的歌曲”这类指令时，需摒弃干扰并正确执行。基于Disfl-QA训练的模型能够显著增强此类系统的容错性与交互流畅度，从而提升用户体验，推动从规范化文本处理向更自然、更人性化的语音交互范式的演进。

数据集最近研究

最新研究方向

当前，DISFL-QA数据集聚焦于自然语言处理领域中一个极具挑战性的前沿方向——口语化不流畅表达（如修正、重复、重启等）对问答系统鲁棒性的影响。随着语音交互技术的蓬勃发展，用户在与智能系统对话时频繁产生包含不流畅成分的查询，而传统模型在面对这类非标准输入时性能显著下降。DISFL-QA通过基于SQuAD-v2构建的约1.2万对上下文相关不流畅问答实例，揭示了当前最先进的抽取式问答模型在应对修饰性干扰时的脆弱性。该数据集填补了语音与文本NLP研究之间的关键鸿沟，为评估和提升模型对口语化噪声的适应能力提供了标准化基准，其研究意义在于推动更自然、更鲁棒的人机对话系统发展，尤其在智能助手、语音搜索等实际应用场景中具有深远影响。