allenai/ms2_dense_oracle

该数据集是MS^2数据集的副本，但输入源文档被替换为密集检索器。数据集主要用于摘要和文本生成任务，包含训练、验证和测试集。查询字段是每个示例的background字段，语料库是所有文档的联合体，文档是标题和摘要的拼接。检索器使用facebook/contriever-msmarco，并通过PyTerrier进行检索，采用oracle策略确定检索文档的数量。文件还提供了在验证集和测试集上的检索结果。

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 许可证: Apache-2.0
• 多语言性: 单语
• 大小: 10,000 < n < 100,000

数据来源与创建

• 注释创建者: 专家生成
• 语言创建者: 专家生成
• 源数据集:
  • 扩展自 other-MS^2
  • 扩展自 other-Cochrane

任务类别

• 摘要生成
• 文本到文本生成

数据集名称

• 美观名称: MSLR Shared Task
• paperswithcode ID: multi-document-summarization

数据集结构

• 查询: 每个示例的 background 字段
• 语料库: train, validation, 和 test 分割中所有文档的联合，文档是 title 和 abstract 的串联
• 检索器: facebook/contriever-msmarco 通过 PyTerrier 使用默认设置
• top-k 策略: "oracle"，即检索的文档数量 k 设置为每个示例的原始输入文档数量

检索结果

• 验证集:

  • Recall@100: 0.4764
  • Rprec: 0.2395
  • Precision@k: 0.2395
  • Recall@k: 0.2395

• 验证集:

  • Recall@100: 0.4364
  • Rprec: 0.2125
  • Precision@k: 0.2125
  • Recall@k: 0.2125

• 测试集:

  • Recall@100: 0.4481
  • Rprec: 0.2224
  • Precision@k: 0.2224
  • Recall@k: 0.2224