allenai/multixscience_dense_oracle

这是Multi-XScience数据集的副本，其中训练、验证和测试集的输入源文档已被替换为密集检索器。检索管道使用了每个示例的`related_work`字段作为查询，所有训练、验证和测试集中的文档的并集作为语料库，使用了`facebook/contriever-msmarco`检索器，并通过PyTerrier进行检索，默认设置下采用`oracle`的top-k策略。文件还提供了在训练、验证和测试集上的检索结果，包括Recall@100、Rprec、Precision@k和Recall@k等指标。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Multi-XScience
• 语言: 英语
• 许可: 未知
• 多语言性: 单语种
• 数据量: 10K<n<100K
• 来源: 原始数据
• 任务类别: 摘要生成
• Papers with Code ID: multi-xscience

数据集描述

• 数据集类型: 该数据集是Multi-XScience的副本，但训练、验证和测试集的输入源文档已被密集检索器替换。
• 检索流程:
  • 查询: 每个示例的related_work字段
  • 语料库: 训练、验证和测试集中所有文档的联合
  • 检索器: 使用facebook/contriever-msmarco通过PyTerrier进行检索，默认设置
  • top-k策略: "oracle"，即检索的文档数量k设置为每个示例的原始输入文档数量

检索结果

• 训练集:
  • Recall@100: 0.5270
  • Rprec: 0.2005
  • Precision@k: 0.2005
  • Recall@k: 0.2005
• 验证集:
  • Recall@100: 0.5310
  • Rprec: 0.2026
  • Precision@k: 0.2026
  • Recall@k: 0.2026
• 测试集:
  • Recall@100: 0.5229
  • Rprec: 0.2081
  • Precision@k: 0.2081
  • Recall@k: 0.2081