allenai/multixscience_sparse_oracle

该数据集是Multi-XScience数据集的一个副本，但测试集的输入源文档已被稀疏检索器替换。检索管道使用了BM25算法，并通过PyTerrier实现，采用了默认设置和oracle的top-k策略。检索结果在训练集、验证集和测试集上均有展示。

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 许可证: 未知
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源: 原始数据集
• 任务类别: 摘要生成
• 数据集名称: Multi-XScience
• 论文代码ID: multi-xscience

数据处理

• 测试集变更: 输入源文档被替换为稀疏检索器
• 检索流程:
  • 查询: 每个示例的related_work字段
  • 语料库: train, validation 和 test 分割中所有文档的联合
  • 检索器: BM25，使用PyTerrier库，默认设置
  • top-k策略: “oracle”，即检索文档数k设置为每个示例原始输入文档数

检索性能

• 训练集:

  • Recall@100: 0.5482
  • Rprec: 0.2243
  • Precision@k: 0.2243
  • Recall@k: 0.2243

• 验证集:

  • Recall@100: 0.5476
  • Rprec: 0.2209
  • Precision@k: 0.2209
  • Recall@k: 0.2209

• 测试集:

  • Recall@100: 0.5480
  • Rprec: 0.2272
  • Precision@k: 0.2272
  • Recall@k: 0.2272