allenai/multixscience_sparse_oracle

该数据集是Multi-XScience数据集的一个副本，但测试集的输入源文档已被稀疏检索器替换。检索管道使用了BM25算法，并通过PyTerrier实现，采用了默认设置和oracle的top-k策略。检索结果在训练集、验证集和测试集上均有展示。

This dataset is a replica of the Multi-XScience dataset, where the source documents used as inputs for the test split have been replaced with results retrieved by a sparse retriever. The retrieval pipeline adopts the BM25 algorithm, is implemented via PyTerrier with default settings, and uses an oracle top-k strategy. The retrieval results are provided for the training, validation, and test splits respectively.

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 许可证: 未知
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源: 原始数据集
• 任务类别: 摘要生成
• 数据集名称: Multi-XScience
• 论文代码ID: multi-xscience

数据处理

• 测试集变更: 输入源文档被替换为稀疏检索器
• 检索流程:
  • 查询: 每个示例的related_work字段
  • 语料库: train, validation 和 test 分割中所有文档的联合
  • 检索器: BM25，使用PyTerrier库，默认设置
  • top-k策略: “oracle”，即检索文档数k设置为每个示例原始输入文档数

检索性能

• 训练集:

  • Recall@100: 0.5482
  • Rprec: 0.2243
  • Precision@k: 0.2243
  • Recall@k: 0.2243

• 验证集:

  • Recall@100: 0.5476
  • Rprec: 0.2209
  • Precision@k: 0.2209
  • Recall@k: 0.2209

• 测试集:

  • Recall@100: 0.5480
  • Rprec: 0.2272
  • Precision@k: 0.2272
  • Recall@k: 0.2272

搜集汇总

背景与挑战

背景概述

该数据集是基于Multi-XScience数据集修改的版本，专门针对文本摘要任务设计，其测试集的输入源文档被替换为通过BM25稀疏检索器检索得到的文档，采用oracle策略确定检索数量。数据集包含约40.5K行数据，主要用于评估检索增强的摘要生成模型性能。