allenai/multixscience_dense_max

该数据集是Multi-XScience数据集的副本，其`test`分割的输入源文档已被替换为密集检索器。检索管道包括使用`related_work`字段作为查询，所有`train`、`validation`和`test`分割中的文档作为语料库，以及使用`facebook/contriever-msmarco`作为检索器，并采用`max`作为top-k策略。文件还提供了在`train`、`validation`和`test`集上的检索结果。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Multi-XScience
• 语言: 英语
• 许可: 未知
• 多语言性: 单语种
• 数据集大小: 10K<n<100K
• 源数据集: 原始数据
• 任务类别: 摘要生成
• PapersWithCode ID: multi-xscience

数据集修改

• 测试集输入源文档: 使用密集检索器替换
• 检索流程:
  • 查询: 每个示例的related_work字段
  • 语料库: train, validation 和 test 分割中的所有文档的联合
  • 检索器: facebook/contriever-msmarco 通过 PyTerrier 使用默认设置
  • top-k 策略: "max", 即检索的文档数量 k 设置为数据集中所有示例中看到的最大文档数量，此处 k==20

检索结果

• 训练集:
  • Recall@100: 0.5270
  • Rprec: 0.2005
  • Precision@k: 0.0573
  • Recall@k: 0.3785
• 验证集:
  • Recall@100: 0.5310
  • Rprec: 0.2026
  • Precision@k: 0.059
  • Recall@k: 0.3831
• 测试集:
  • Recall@100: 0.5229
  • Rprec: 0.2081
  • Precision@k: 0.058
  • Recall@k: 0.3794