allenai/cochrane_dense_oracle

该数据集是Cochrane数据集的副本，但训练、验证和测试集的输入源文档被替换为密集检索器。查询是每个示例的`target`字段，语料库是训练、验证和测试集中所有文档的联合，文档是`title`和`abstract`的拼接。检索器使用`facebook/contriever-msmarco`，并通过PyTerrier进行检索，采用默认设置。检索策略为`oracle`，即检索的文档数量`k`设置为每个示例的原始输入文档数量。在训练集和验证集上的检索结果显示，Recall@100和Rprec等指标表现良好。

原始信息汇总

数据集概述

基本信息

• 标注创建者: 专家生成
• 语言创建者: 专家生成
• 语言: 英语
• 许可证: Apache 2.0
• 多语言性: 单语种
• 大小类别: 10K<n<100K
• 源数据集:
  • 扩展自其他-MS^2
  • 扩展自其他-Cochrane
• 任务类别:
  • 摘要生成
  • 文本到文本生成
• Papers with Code ID: multi-document-summarization
• 美观名称: MSLR Shared Task

数据集描述

• 查询: 每个示例的target字段
• 语料库: train, validation和test分割中所有文档的联合。一个文档是title和abstract的串联。
• 检索器: 使用facebook/contriever-msmarco通过PyTerrier，默认设置
• top-k策略: "oracle"，即检索的文档数量k设置为每个示例的原始输入文档数量

检索结果

• 训练集:
  • Recall@100: 0.7790
  • Rprec: 0.4487
  • Precision@k: 0.4487
  • Recall@k: 0.4487
• 验证集:
  • Recall@100: 0.7856
  • Rprec: 0.4424
  • Precision@k: 0.4424
  • Recall@k: 0.4424
• 测试集: 无检索结果，测试集是盲测，没有查询。