allenai/wcep_dense_mean

这是WCEP-10数据集的副本，其训练、验证和测试集的输入源文档已被密集检索器替换。数据集主要用于新闻文章摘要任务，检索管道使用了`facebook/contriever-msmarco`模型，并通过PyTerrier进行检索，采用了`max`的top-k策略。文件中还提供了检索结果的具体指标，如Recall@100、Rprec、Precision@k和Recall@k。

原始信息汇总

数据集概述

基本信息

• 名称: WCEP-10
• 语言: 英语（en）
• 许可证: 其他（other）
• 多语言性: 单语（monolingual）
• 大小: 1K<n<10K
• 来源: 原始数据集（original）

创建者信息

• 标注创建者: 专家生成（expert-generated）
• 语言创建者: 专家生成（expert-generated）

任务与配置

• 任务类别: 摘要生成（summarization）
• 任务ID: news-articles-summarization
• 训练与评估索引:
  • 配置: 默认
  • 任务: 摘要生成
  • 任务ID: summarization
  • 分割:
    • 训练分割: train
    • 评估分割: test
  • 列映射:
    • 文档: text
    • 摘要: target
  • 评估指标:
    • 类型: rouge
    • 名称: Rouge

数据处理

• 数据集版本: 原始数据集的train, validation, 和 test分割的输入源文档已被替换为密集检索器。
• 检索流程:
  • 查询: 每个示例的summary字段
  • 语料库: train, validation 和 test分割中所有文档的联合
  • 检索器: facebook/contriever-msmarco通过PyTerrier使用默认设置
  • top-k策略: "max"，即检索的文档数量k设置为该数据集中示例所见文档的最大数量，此处k==9

检索结果

• 训练集:

  • Recall@100: 0.8590
  • Rprec: 0.6490
  • Precision@k: 0.6239
  • Recall@k: 0.6271

• 验证集:

  • Recall@100: 0.8578
  • Rprec: 0.6326
  • Precision@k: 0.6301
  • Recall@k: 0.6031

• 测试集:

  • Recall@100: 0.8678
  • Rprec: 0.6631
  • Precision@k: 0.6564
  • Recall@k: 0.6338