google-research-datasets/discofuse

DiscoFuse是一个大规模的数据集，用于基于语篇的句子融合任务。数据集包含两个配置：discofuse-sport和discofuse-wikipedia，每个配置都有训练、验证和测试集。数据集的字段包括连贯和不连贯的句子对、连接词、语篇类型等。数据集的创建过程、注释过程、源数据等信息未详细说明。

DiscoFuse is a large-scale dataset designed for discourse-based sentence fusion tasks. The dataset comprises two configurations: discofuse-sport and discofuse-wikipedia, each encompassing training, validation, and test subsets. Its core fields include coherent and incoherent sentence pairs, discourse connectives, and discourse types, among others. No detailed information is provided regarding the dataset's creation workflow, annotation process, or original source data.

原始信息汇总

数据集概述

基本信息

• 数据集名称: DiscoFuse
• 语言: 英语
• 许可证: CC BY-SA 3.0
• 多语性: 单语
• 数据集大小: 10M < n < 100M
• 源数据: 原始数据
• 任务类别: 文本到文本生成
• 标签: 句子融合

数据集配置

• 配置名称: discofuse-sport

  • 特征:
    • connective_string: 字符串
    • discourse_type: 字符串
    • coherent_second_sentence: 字符串
    • has_coref_type_pronoun: 浮点数 (float32)
    • incoherent_first_sentence: 字符串
    • incoherent_second_sentence: 字符串
    • has_coref_type_nominal: 浮点数 (float32)
    • coherent_first_sentence: 字符串
  • 分割:
    • 训练: 43291020 个样本, 14736176073 字节
    • 测试: 445521 个样本, 151655243 字节
    • 验证: 440902 个样本, 150206657 字节
  • 下载大小: 9422142544 字节
  • 数据集大小: 15038037973 字节

• 配置名称: discofuse-wikipedia

  • 特征:
    • connective_string: 字符串
    • discourse_type: 字符串
    • coherent_second_sentence: 字符串
    • has_coref_type_pronoun: 浮点数 (float32)
    • incoherent_first_sentence: 字符串
    • incoherent_second_sentence: 字符串
    • has_coref_type_nominal: 浮点数 (float32)
    • coherent_first_sentence: 字符串
  • 分割:
    • 训练: 16310585 个样本, 6377885028 字节
    • 测试: 163657 个样本, 64007750 字节
    • 验证: 168081 个样本, 65681627 字节
  • 下载大小: 3929336540 字节
  • 数据集大小: 6507574405 字节

数据文件配置

• 配置名称: discofuse-sport

  • 数据文件:
    • 训练: discofuse-sport/train-*
    • 测试: discofuse-sport/test-*
    • 验证: discofuse-sport/validation-*

• 配置名称: discofuse-wikipedia

  • 数据文件:
    • 训练: discofuse-wikipedia/train-*
    • 测试: discofuse-wikipedia/test-*
    • 验证: discofuse-wikipedia/validation-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，句子融合任务旨在将多个语义相关但表达不连贯的句子合并为流畅的复合句。DiscoFuse数据集正是为应对这一挑战而构建的，它基于体育新闻和维基百科两大语料源，通过自动化流程生成大规模训练样本。具体而言，该数据集从原始文本中提取出连贯的句子对，并利用规则或模型将其拆解为不连贯的句子片段，同时记录所使用的连接词（connective_string）与话语类型（discourse_type），从而形成结构化的‘不连贯-连贯’对照数据。最终，数据集包含超过6000万条样本，按来源分为discofuse-sport和discofuse-wikipedia两个子集，并划分出训练、验证与测试集。

使用方法

该数据集适用于文本到文本生成（text2text-generation）任务，尤其是基于话语的句子融合。使用者可通过Hugging Face Datasets库轻松加载，例如使用`load_dataset('google-research-datasets/discofuse', 'discofuse-sport')`命令获取体育子集。加载后的数据以字典形式呈现，包含‘connective_string’、‘discourse_type’等字段，可直接用于训练序列到序列模型（如T5或BART）。建议在训练时以‘incoherent_first_sentence’和‘incoherent_second_sentence’作为输入，以对应的‘coherent_first_sentence’和‘coherent_second_sentence’作为目标输出，从而学习如何利用话语线索重构连贯文本。

背景与挑战

背景概述

在自然语言处理领域，篇章级别的句子融合是一项核心任务，旨在将多个语义相关但不连贯的句子整合成流畅且连贯的表述，这对于文本摘要、问答系统及对话生成等应用至关重要。DiscoFuse数据集由Google Research团队于2019年创建，研究者包括Mor Geva、Eric Malmi、Idan Szpektor和Jonathan Berant，其核心研究问题聚焦于利用篇章关系（如连接词、指代等）来驱动句子融合，从而提升生成文本的连贯性。该数据集基于维基百科和体育新闻两大来源，通过自动化的篇章标注方法构建了超过6000万对句子样本，规模庞大且质量可控，为句子融合任务提供了标准化的训练与评估基准。自发布以来，DiscoFuse已成为该领域的重要资源，推动了基于篇章结构的文本生成研究，并在NAACL 2019上发表了相关论文，影响力深远。

当前挑战

DiscoFuse数据集所解决的领域问题在于，传统的句子融合方法往往忽视篇章层面的连贯性约束，导致融合结果生硬或逻辑断裂，其挑战在于如何有效建模句子间的篇章关系（如因果关系、时序顺序）并生成自然流畅的融合文本。在构建过程中，团队面临多重挑战：首先，从大规模语料中自动提取不连贯句子对时，需确保语义关联性与篇章结构多样性的平衡，避免生成简单拼接或无关样本；其次，标注篇章关系类型（如连接词、指代类型）依赖机器学习模型，易引入噪声，需通过人工验证与启发式规则提升准确性；最后，数据规模虽大但领域覆盖有限（仅体育与维基百科），可能限制模型在跨领域场景下的泛化能力，且语料中隐含的词汇与风格偏差需通过后续研究加以缓解。

常用场景

经典使用场景

DiscoFuse数据集的核心应用场景聚焦于篇章级句子融合任务，旨在将多个不连贯的短句通过添加恰当的连接词或进行指代消解，融合为语义连贯、结构流畅的长句。该数据集提供了海量的文本对，其中包含来自体育新闻和维基百科的语料，每个样本均由一对不连贯句子及其对应的连贯版本组成，并标注了连接词、话语类型及共指信息。研究者可基于此训练序列到序列的生成模型，学习如何自动识别句子间的逻辑关系并生成融合后的文本，从而提升自然语言生成中的篇章连贯性。

解决学术问题

在学术研究层面，DiscoFuse有效解决了自然语言处理领域中话语结构建模与文本生成连贯性不足的瓶颈问题。传统文本生成模型往往聚焦于局部词汇或句法层面的优化，难以捕捉句子间隐含的逻辑递进、因果或转折关系。该数据集通过大规模、高质量的标注数据，为探究话语连接词的使用规律、共指消解对篇章结构的影响以及多句融合策略提供了坚实的实验基础。其发布推动了文本简化、摘要生成和问答系统等领域中篇章理解能力的突破，成为评估生成模型话语感知能力的重要基准。

实际应用

在实际应用场景中，DiscoFuse所驱动的句子融合技术可广泛服务于智能写作助手、自动摘要生成和对话系统的优化。例如，在新闻编辑场景下，系统能够将多个零散的报道片段自动整合为一段通顺的综合性叙述，显著提升信息呈现效率。在教育领域，该技术可辅助学生将碎片化的知识点表述重组为逻辑严密的段落，培养写作的连贯性。此外，在语音助手与聊天机器人中，融合模型能将多轮对话中的离散回复合并为一句自然流畅的应答，改善人机交互体验。

数据集最近研究

最新研究方向

DiscoFuse数据集聚焦于篇章级句子融合任务，在自然语言生成领域具有前沿意义。当前研究热点集中于利用该大规模语料库（含体育与维基百科双领域，超6000万样本）训练模型以学习连贯性话语结构，如连接词插入与指代消解，进而提升文本生成的逻辑流畅度。该数据集与神经机器翻译、自动摘要及对话系统等下游应用紧密关联，其机器生成的标注范式推动了弱监督学习在篇章连贯性建模中的发展，为理解复杂语篇关系提供了关键资源，对提升生成式AI的叙事连贯性具有重要影响。