allenai/multixscience_dense_mean

这是Multi-XScience数据集的副本，其训练、验证和测试集的输入源文档已被替换为密集检索器。检索管道使用了每个示例的`related_work`字段作为查询，所有训练、验证和测试集中的文档的联合作为语料库，并使用了`facebook/contriever-msmarco`检索器通过PyTerrier进行检索，默认设置下采用`max`的top-k策略，即检索的文档数量`k`设置为数据集中所有示例中看到的最大文档数量，此处`k==4`。文件还提供了在训练集、验证集和测试集上的检索结果。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Multi-XScience
• 语言: 英语
• 多语言性: 单语种
• 数据集大小: 10K<n<100K
• 源数据集: 原始数据
• 任务类别: 摘要生成
• 许可证: 未知
• 标注创建者: 发现
• 语言创建者: 发现

数据集修改

• 输入源文档替换: 训练、验证和测试集的输入源文档被密集检索器替换。
• 检索管道:
  • 查询: 每个示例的related_work字段
  • 语料库: 训练、验证和测试集中的所有文档的联合
  • 检索器: facebook/contriever-msmarco通过PyTerrier使用默认设置
  • top-k策略: "max"，即检索的文档数量k设置为该数据集中所有示例中看到的最大文档数量，此处k==4

检索结果

• 训练集:
  • Recall@100: 0.5270
  • Rprec: 0.2005
  • Precision@k: 0.1551
  • Recall@k: 0.2357
• 验证集:
  • Recall@100: 0.5310
  • Rprec: 0.2026
  • Precision@k: 0.1603
  • Recall@k: 0.2432
• 测试集:
  • Recall@100: 0.5229
  • Rprec: 0.2081
  • Precision@k: 0.1612
  • Recall@k: 0.2440