allenai/multixscience_dense_oracle

这是Multi-XScience数据集的副本，其中训练、验证和测试集的输入源文档已被替换为密集检索器。检索管道使用了每个示例的`related_work`字段作为查询，所有训练、验证和测试集中的文档的并集作为语料库，使用了`facebook/contriever-msmarco`检索器，并通过PyTerrier进行检索，默认设置下采用`oracle`的top-k策略。文件还提供了在训练、验证和测试集上的检索结果，包括Recall@100、Rprec、Precision@k和Recall@k等指标。

This is a copy of the Multi-XScience dataset, where the input source documents of the training, validation, and test splits have been replaced with outputs from a dense retriever. The retrieval pipeline takes the `related_work` field of each example as the query, uses the union of all documents across the training, validation, and test sets as the retrieval corpus, employs the `facebook/contriever-msmarco` retriever, conducts retrieval via PyTerrier, and adopts the `oracle` top-k strategy under default settings. The accompanying files also provide retrieval results evaluated on the training, validation, and test splits, including metrics such as Recall@100, Rprec, Precision@k, and Recall@k.

原始信息汇总

数据集概述

基本信息

• 数据集名称: Multi-XScience
• 语言: 英语
• 许可: 未知
• 多语言性: 单语种
• 数据量: 10K<n<100K
• 来源: 原始数据
• 任务类别: 摘要生成
• Papers with Code ID: multi-xscience

数据集描述

• 数据集类型: 该数据集是Multi-XScience的副本，但训练、验证和测试集的输入源文档已被密集检索器替换。
• 检索流程:
  • 查询: 每个示例的related_work字段
  • 语料库: 训练、验证和测试集中所有文档的联合
  • 检索器: 使用facebook/contriever-msmarco通过PyTerrier进行检索，默认设置
  • top-k策略: "oracle"，即检索的文档数量k设置为每个示例的原始输入文档数量

检索结果

• 训练集:
  • Recall@100: 0.5270
  • Rprec: 0.2005
  • Precision@k: 0.2005
  • Recall@k: 0.2005
• 验证集:
  • Recall@100: 0.5310
  • Rprec: 0.2026
  • Precision@k: 0.2026
  • Recall@k: 0.2026
• 测试集:
  • Recall@100: 0.5229
  • Rprec: 0.2081
  • Precision@k: 0.2081
  • Recall@k: 0.2081

搜集汇总

数据集介绍

构建方式

在科学文献摘要生成领域，精准的输入文档选择对模型性能至关重要。allenai/multixscience_dense_oracle数据集基于Multi-XScience原始语料构建，其核心创新在于采用稠密检索机制替换原始输入源文档。具体而言，以每条样本的'related_work'字段作为查询，将训练集、验证集与测试集所有文档的并集作为语料库，借助Facebook开发的Contriever-MSMarco模型通过PyTerrier框架执行默认配置下的稠密检索。检索策略采用'oracle'模式，即为每条样本动态设定与原始输入文档数量相等的top-k值，从而在保留原始结构的同时实现检索结果的对齐。

使用方法

该数据集可直接作为HuggingFace Datasets库中的标准数据源加载，适用于多文档科学文献摘要模型的训练与评估。使用时需注意其输入字段已由原始文档替换为稠密检索结果，因此模型需适应检索驱动的输入格式。研究者可基于'related_work'字段作为目标摘要，利用检索到的文档集合进行序列到序列建模。此外，数据集保留了原始数据划分，便于与Multi-XScience基线方法进行公平对比。建议结合Contriever或类似稠密检索模型进一步分析检索质量对摘要生成的影响，或探索更优的top-k选择策略以提升下游任务性能。

背景与挑战

背景概述

在多文献科学摘要生成领域，如何有效整合来自不同来源的学术信息以凝练出高质量的综述性摘要，一直是自然语言处理研究的前沿挑战。基于此背景，Multi-XScience数据集应运而生，由Allen Institute for AI等机构的研究人员于近年创建，旨在解决跨文档摘要任务中多源科学文献的关联建模问题。该数据集以科学论文的“相关工作”章节为生成目标，要求模型从多篇引用文献中提取关键信息，推动了多文档摘要技术在学术场景中的深度应用，成为评估模型跨文档理解与信息融合能力的重要基准。

当前挑战

该数据集面临的核心挑战在于跨文档摘要任务中的信息冗余与关键知识稀疏性并存，即模型需从多篇科学文献中精准定位与目标摘要高度相关的片段，同时过滤无关噪声。构建过程中，采用稠密检索器Contriever替换原始输入文档后，检索性能在Recall@100上仅达约52%，表明现有检索方法难以完全捕捉文献间的语义关联，导致输入源的质量受限。此外，固定检索策略（如oracle top-k）虽保持输入规模一致，但检索结果的精确度与召回率之间仍存在显著权衡，进一步加剧了摘要生成的难度。

常用场景

经典使用场景

Multi-XScience Dense Oracle 数据集专为多文档科学摘要任务而设计，其核心应用场景在于生成跨领域科学论文的综述性相关工作总结。具体而言，模型需基于多篇输入论文的摘要与内容，自动提炼并整合关键信息，形成逻辑连贯、涵盖核心贡献的学术文本。该场景模拟了科研人员在撰写文献综述时，从大量相关文献中提取要点的认知过程，是自然语言处理领域对科学文本理解与生成能力的典型考验。

解决学术问题

该数据集解决了多文档摘要中源文档检索与摘要质量之间的耦合问题。传统多文档摘要常依赖固定或随机选取的输入文档，而 Multi-XScience Dense Oracle 通过密集检索器（Contriever）实现了文档的自动筛选，并采用“神谕”策略保持输入数量与原数据一致，从而研究检索精度对摘要性能的影响。它推动了学术领域对检索增强生成（RAG）范式的理解，为评估检索器在科学摘要场景下的有效性提供了标准化基准，显著促进了信息检索与文本生成交叉方向的研究。

实际应用

在实际应用中，Multi-XScience Dense Oracle 可辅助科研人员自动化生成文献综述，极大提升学术写作效率。例如，研究机构可将其集成到学术搜索引擎中，针对用户输入的多篇论文，快速生成结构化的跨学科研究总结。此外，该数据集还可用于开发智能学术助手，帮助学者追踪前沿进展，通过自动整合不同论文的发现，揭示领域内的研究脉络与空白，从而加速科学发现与知识传播。

数据集最近研究

最新研究方向

在学术文献自动摘要领域，跨文档摘要生成一直是备受关注的前沿课题，尤其是面对多源科学文献的复杂信息整合时，如何高效且精准地抽取与目标主题相关的参考文献成为研究核心。Multi-XScience数据集专门聚焦于多论文摘要生成任务，其最新版本通过引入稠密检索技术，利用Contriever模型对训练、验证与测试集中每篇论文的“相关工作”章节进行深度语义检索，以“oracle”策略动态匹配原始输入文档数量的参考文献。这一创新不仅提升了检索的召回率与精确度，还显著缓解了传统稀疏检索在科学文献中语义鸿沟问题，为构建更智能的学术辅助系统提供了关键数据支撑，推动了科学文献自动综述生成向更可靠、更具上下文感知能力的方向演进。