allenai/cochrane_dense_mean

该数据集是Cochrane数据集的副本，但其输入源文档已被替换为密集检索器。检索管道使用每个示例的`target`字段作为查询，将`train`、`validation`和`test`拆分中的所有文档的`title`和`abstract`连接起来作为语料库，使用`facebook/contriever-msmarco`作为检索器，并通过PyTerrier进行检索，采用`max`策略确定检索文档的数量。检索结果在`train`和`validation`集上进行了评估，但`test`集是盲测，因此没有检索结果。

This dataset is a replica of the Cochrane dataset, but its input source documents have been replaced with retrieval results generated by a dense retriever. The retrieval pipeline uses the `target` field of each example as the query, constructs the corpus by concatenating the `title` and `abstract` of all documents across the `train`, `validation`, and `test` splits, adopts `facebook/contriever-msmarco` as the retriever, conducts retrieval via PyTerrier, and determines the number of retrieved documents using the `max` strategy. The retrieval results were evaluated on the `train` and `validation` sets, while the `test` set is a blind test without corresponding retrieval results.

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 许可证: Apache-2.0
• 多语言性: 单语种
• 大小: 10K<n<100K

数据来源与创建

• 注释创建者: 专家生成
• 语言创建者: 专家生成
• 源数据集:
  • 扩展自 other-MS^2
  • 扩展自 other-Cochrane

任务类别

• 摘要生成
• 文本到文本生成

数据集别名

• 别名: MSLR Shared Task
• paperswithcode ID: multi-document-summarization

数据处理

• 数据集结构: 包含 train, validation, test 三个分割
• 数据检索方法:
  • 查询: 每个示例的 target 字段
  • 语料库: train, validation, test 分割中所有文档的联合，文档由 title 和 abstract 连接而成
  • 检索器: 使用 facebook/contriever-msmarco 通过 PyTerrier 实现，默认设置
  • top-k 策略: "max"，检索的文档数 k 设置为该数据集中示例所见文档的最大数，此处 k==9

检索性能

• 训练集:
  • Recall@100: 0.7790
  • Rprec: 0.4487
  • Precision@k: 0.3438
  • Recall@k: 0.4800
• 验证集:
  • Recall@100: 0.7856
  • Rprec: 0.4424
  • Precision@k: 0.3534
  • Recall@k: 0.4913
• 测试集: 无数据，因测试集为盲测，无查询信息