allenai/wcep_dense_mean

这是WCEP-10数据集的副本，其训练、验证和测试集的输入源文档已被密集检索器替换。数据集主要用于新闻文章摘要任务，检索管道使用了`facebook/contriever-msmarco`模型，并通过PyTerrier进行检索，采用了`max`的top-k策略。文件中还提供了检索结果的具体指标，如Recall@100、Rprec、Precision@k和Recall@k。

This is a copy of the WCEP-10 dataset, in which the input source documents for its training, validation, and test splits have been replaced by dense retrievers. This dataset is primarily used for news article summarization tasks. The retrieval pipeline utilizes the `facebook/contriever-msmarco` model, conducts retrieval via PyTerrier, and implements the `max` top-k strategy. Specific metrics for the retrieval results are also provided in the files, including Recall@100, Rprec, Precision@k, and Recall@k.

原始信息汇总

数据集概述

基本信息

• 名称: WCEP-10
• 语言: 英语（en）
• 许可证: 其他（other）
• 多语言性: 单语（monolingual）
• 大小: 1K<n<10K
• 来源: 原始数据集（original）

创建者信息

• 标注创建者: 专家生成（expert-generated）
• 语言创建者: 专家生成（expert-generated）

任务与配置

• 任务类别: 摘要生成（summarization）
• 任务ID: news-articles-summarization
• 训练与评估索引:
  • 配置: 默认
  • 任务: 摘要生成
  • 任务ID: summarization
  • 分割:
    • 训练分割: train
    • 评估分割: test
  • 列映射:
    • 文档: text
    • 摘要: target
  • 评估指标:
    • 类型: rouge
    • 名称: Rouge

数据处理

• 数据集版本: 原始数据集的train, validation, 和 test分割的输入源文档已被替换为密集检索器。
• 检索流程:
  • 查询: 每个示例的summary字段
  • 语料库: train, validation 和 test分割中所有文档的联合
  • 检索器: facebook/contriever-msmarco通过PyTerrier使用默认设置
  • top-k策略: "max"，即检索的文档数量k设置为该数据集中示例所见文档的最大数量，此处k==9

检索结果

• 训练集:

  • Recall@100: 0.8590
  • Rprec: 0.6490
  • Precision@k: 0.6239
  • Recall@k: 0.6271

• 验证集:

  • Recall@100: 0.8578
  • Rprec: 0.6326
  • Precision@k: 0.6301
  • Recall@k: 0.6031

• 测试集:

  • Recall@100: 0.8678
  • Rprec: 0.6631
  • Precision@k: 0.6564
  • Recall@k: 0.6338

搜集汇总

数据集介绍

构建方式

在自动文摘研究领域，高质量的数据集是模型训练与评估的基石。WCEP-10作为新闻摘要的经典基准数据集，其原始版本由专家标注生成。本数据集在此基础上进行了深度改造：利用稠密检索技术对原始文档进行重构。具体而言，以每个样本的摘要字段作为查询，将训练集、验证集和测试集中所有文档合并构成语料库，借助facebook/contriever-msmarco检索模型与PyTerrier工具，采用默认配置执行检索。在top-k策略上，选取数据集中所有样本所见文档数量的最大值（即k=9），从而为每个样本重新分配来源文档，形成全新的稠密检索增强版本。

特点

本数据集的核心特点在于其稠密检索驱动的文档分配机制。相较于原始WCEP-10中固定且可能带有噪声的文档集合，该版本通过语义匹配动态选择与摘要高度相关的文档，显著提升了输入文档与目标摘要之间的对齐质量。检索评估指标显示，在训练集上Recall@100达到0.8590，Precision@k为0.6239，验证集和测试集同样保持优异表现，证明了检索结果的高精确性与覆盖度。这一设计使得数据集更加适用于训练鲁棒的摘要模型，能够有效应对文档冗余和相关性不足的挑战。

使用方法

本数据集的使用方式与标准摘要任务保持一致，可直接用于新闻文章摘要模型的训练与评估。数据划分包含train、validation和test三个子集，其中document字段对应检索后的源文档，summary字段对应专家撰写的摘要。用户可借助HuggingFace Datasets库轻松加载，并通过col_mapping将document映射为模型输入文本、summary映射为训练目标。评测指标推荐采用Rouge系列，以衡量生成摘要与参考摘要之间的词汇重叠度，从而客观评估模型在稠密检索增强场景下的摘要性能。

背景与挑战

背景概述

WCEP-10数据集由艾伦人工智能研究院（Allen Institute for AI）于2020年创建，聚焦于多文档摘要（multi-document summarization）这一核心研究问题，旨在从多篇新闻报道中生成简洁、连贯的摘要。该数据集基于维基百科当前事件门户（Wikipedia Current Events Portal）的精选事件描述，由专家标注摘要，涵盖约10,000个事件实例，每个事件关联10篇源文档，为摘要任务提供了高质量、结构化的基准。其影响力体现在推动了多文档摘要模型的评估与发展，尤其为端到端生成式摘要和检索增强型摘要研究提供了标准化测试平台，成为该领域的重要参考数据集。

当前挑战

该数据集面临的核心挑战在于多文档摘要的固有复杂性：源文档间存在信息冗余、冲突及噪声，模型需有效融合异构信息并生成忠实于事实的摘要，这对语义理解与推理能力提出高要求。构建过程中，检索增强版本（如使用Contriever模型）虽提升了文档召回率（测试集Recall@k达0.6338），但检索结果可能引入不相关或低质量文档，增加摘要噪声；此外，源文档的密集表示与摘要生成之间的语义对齐仍不完善，导致摘要事实一致性不足。同时，数据集规模有限（约10,000实例），限制了大规模预训练模型的泛化能力，且专家标注成本高昂，难以扩展至更多领域或语言。

常用场景

经典使用场景

在新闻摘要生成领域，WCEP-10数据集凭借其多文档摘要的独特结构，成为评估模型从冗余信息中提炼核心内容能力的标杆。该数据集中的每个样本均包含一组围绕同一事件的多篇新闻文档及其专家撰写的摘要，经典使用场景聚焦于训练和测试基于抽取式或生成式架构的摘要模型。研究者通常利用其训练集构建端到端的序列到序列模型，并通过测试集验证模型在捕捉跨文档一致性、消除信息重复以及生成连贯摘要方面的表现，尤其在对比不同检索增强策略对摘要质量的影响时，该数据集提供了标准化的评估基准。

解决学术问题

该数据集有效解决了多文档摘要研究中长期存在的两大核心问题：一是缺乏大规模、高质量且经过专家验证的基准数据集，二是现有数据集的文档来源单一导致模型泛化能力不足。通过提供10个事件簇的密集标注，WCEP-10使得研究者能够系统性地探索如何从异构新闻源中提取关键信息并压缩为简洁摘要，推动了无监督与弱监督摘要方法的进步。其意义在于为跨文档信息融合、冗余消解以及事件中心表示学习等学术课题提供了可复现的实验平台，显著降低了对比不同算法性能的门槛，进而加速了该领域从单文档向多文档范式的转型。

衍生相关工作

基于WCEP-10数据集，学术界涌现出一系列经典衍生工作。其中，最具有代表性的包括引入对比学习框架来增强摘要模型对文档间语义差异的感知能力，以及设计基于图神经网络的文档关系建模方法以提升跨文档信息交互效率。此外，检索增强生成（Retrieval-Augmented Generation）范式在该数据集上得到深度探索，研究者利用密集检索器（如Contriever）替换原始文档，验证了检索质量对摘要生成性能的直接影响。这些工作不仅丰富了多文档摘要的理论体系，还催生了如Primera、LongT5等专为长文本设计的预训练模型，进一步推动了该领域的实用化进程。