allenai/multixscience_sparse_mean

这是一个Multi-XScience数据集的副本，但测试集的输入源文档已被稀疏检索器替换。检索管道使用了BM25算法，并通过PyTerrier实现，默认设置下使用mean作为top-k策略。检索结果在训练集、验证集和测试集上均有展示。

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 许可证: 未知
• 多语言性: 单语
• 大小类别: 10K<n<100K
• 源数据集: 原始
• 任务类别: 摘要生成
• 论文代码ID: multi-xscience
• 美观名称: Multi-XScience

数据处理

• 测试集输入源文档: 被替换为稀疏检索器
• 检索流程:
  • 查询: 每个示例的related_work字段
  • 语料库: train, validation 和 test 分割中所有文档的并集
  • 检索器: BM25，使用PyTerrier，默认设置
  • top-k策略: "mean"，检索文档数k设置为该数据集中示例平均看到的文档数，此处k==4

检索结果

• 训练集:

  • Recall@100: 0.5482
  • Rprec: 0.2243
  • Precision@k: 0.1578
  • Recall@k: 0.2689

• 验证集:

  • Recall@100: 0.5476
  • Rprec: 0.2209
  • Precision@k: 0.1592
  • Recall@k: 0.2650

• 测试集:

  • Recall@100: 0.548
  • Rprec: 0.2272
  • Precision@k: 0.1611
  • Recall@k: 0.2704