allenai/ms2_sparse_oracle

该数据集是MS^2数据集的一个副本，但验证集的输入源文档被替换为稀疏检索器。检索管道使用了BM25算法，并提供了训练集、验证集和测试集的检索结果。数据集主要用于摘要生成和文本到文本生成任务，语言为英语，大小为10K到100K之间，许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 标注创建者: 专家生成
• 语言创建者: 专家生成
• 语言: 英语
• 许可证: Apache 2.0
• 多语言性: 单语种
• 数据集大小: 10K<n<100K
• 源数据集: 扩展自MS^2和Cochrane

任务类别

• 摘要生成
• 文本到文本生成

数据集标识

• paperswithcode_id: multi-document-summarization
• pretty_name: MSLR Shared Task

数据集修改

• 验证集输入源文档: 替换为稀疏检索器检索的文档
• 检索流程:
  • 查询: 每个示例的background字段
  • 语料库: train, validation和test分割中的所有文档的联合，每个文档是title和abstract的连接
  • 检索器: 使用默认设置的BM25通过PyTerrier
  • top-k策略: "oracle"，即检索的文档数量k设置为每个示例的原始输入文档数量

检索结果

• 训练集:
  • Recall@100: 0.4333
  • Rprec: 0.2163
  • Precision@k: 0.2163
  • Recall@k: 0.2163
• 验证集:
  • Recall@100: 0.3780
  • Rprec: 0.1827
  • Precision@k: 0.1827
  • Recall@k: 0.1827
• 测试集:
  • Recall@100: 0.3928
  • Rprec: 0.1898
  • Precision@k: 0.1898
  • Recall@k: 0.1898