princeton-nlp/LitSearch

LitSearch数据集包含用于科学文献检索的查询集和检索语料库。该数据集由597个关于近期机器学习和自然语言处理论文的现实文献检索查询组成。这些查询通过两种方式构建：(1) 由GPT-4根据研究论文中包含内联引用的段落生成的问题；(2) 由最近发表论文的作者手动编写的问题。所有LitSearch查询都经过专家的手动检查或编辑，以确保高质量。数据集包含三个配置：1. `query`包含597个查询，附带黄金论文ID、特异性和质量注释以及查询来源的元数据；2. `corpus_clean`包含64183个文档，提供提取的标题、摘要和引用的论文ID；3. `corpus_s2orc`包含相同的64183个文档，但以Semantic Scholar开放研究语料库（S2ORC）模式表示，并包含所有可用的元数据。每个配置都有一个full分割。

The LitSearch dataset is designed as a retrieval benchmark for scientific literature search, containing 597 realistic search queries about recent ML and NLP papers. These queries are generated by GPT-4 based on paragraphs containing inline citations from research papers and questions about recently published papers, manually written by their authors. All questions were manually examined or edited by experts to ensure high quality. The dataset includes three configurations: query containing 597 queries with associated metadata; corpus_clean containing 64183 documents with extracted titles, abstracts, and citation IDs; and corpus_s2orc containing the same set of documents in the Semantic Scholar Open Research Corpus (S2ORC) schema with all available metadata. Each configuration has a single full split.

原始信息汇总

LitSearch: A Retrieval Benchmark for Scientific Literature Search

概述

• 数据集名称: LitSearch
• 数据集用途: 用于科学文献检索的基准测试
• 数据集内容: 包含597个关于近期ML和NLP论文的真实文献检索查询集和检索语料库
• 数据集构建:
  • 基于GPT-4生成的查询
  • 作者手动编写的关于近期发表论文的查询
  • 所有查询均由专家手动检查或编辑，以确保高质量

数据集配置

1. query:

   • 包含597个查询
   • 附带黄金论文ID、特异性和质量注释
   • 包含查询来源的元数据

2. corpus_clean:

   • 包含64183个文档
   • 提供提取的标题、摘要和引出引用论文ID

3. corpus_s2orc:

   • 包含64183个文档
   • 使用Semantic Scholar Open Research Corpus (S2ORC)模式表示
   • 包含所有可用元数据

数据集加载

• 每个配置只有一个full分割

• 可以通过以下代码加载数据集： python from datasets import load_dataset

  query_data = load_dataset("princeton-nlp/LitSearch", "query", split="full") corpus_clean_data = load_dataset("princeton-nlp/LitSearch", "corpus_clean", split="full") corpus_s2orc_data = load_dataset("princeton-nlp/LitSearch", "corpus_s2orc", split="full")

搜集汇总

数据集介绍

构建方式

在科学文献检索领域，高质量基准测试的匮乏长期制约着检索模型的性能评估与进步。LitSearch数据集应运而生，其构建过程融合了两种互补的策略：一方面，基于研究论文中包含行内引用的段落，借助GPT-4生成初始问题；另一方面，由近期论文的作者亲笔撰写关于其自身工作的检索问题。所有生成的597个查询均经过领域专家的手动审查与编辑，从而在源头上保证了数据集的严谨性与可靠性。

特点

该数据集专为机器学习和自然语言处理领域的文献检索而设计，其核心特色在于兼具真实性与专业性。597个查询问题均源自真实的科研场景，并附有对应的黄金标准论文标识符、特异性与质量标注，以及查询来源的元数据。语料库部分包含64,183篇文档，提供了标题、摘要及引文信息，并可选以S2ORC标准格式呈现，极大便利了与现有学术研究生态的对接。

使用方法

LitSearch的使用流程简洁高效，完全集成于HuggingFace Datasets库中。用户可通过`load_dataset`函数分别加载三个预定义的配置：`query`用于获取查询及其标注信息，`corpus_clean`提供结构清晰的文档内容，而`corpus_s2orc`则提供符合S2ORC模式的完整元数据。每个配置均包含一个名为`full`的数据分片，便于直接用于检索模型的训练、评估或基准测试。

背景与挑战

背景概述

在人工智能与自然语言处理领域，科学文献检索是支撑学术研究、知识发现与技术创新的核心环节。随着每年海量论文的涌现，研究者亟需能够精准理解复杂、跨学科查询意图的检索系统。然而，现有检索基准多聚焦于通用领域或简单事实查询，难以评估模型在专业科学文献场景下的表现。在此背景下，普林斯顿大学NLP团队于近期发布了LitSearch数据集，旨在填补这一空白。该数据集包含597条关于机器学习与自然语言处理前沿论文的真实文献检索查询，其构建融合了两种策略：一是基于GPT-4从包含内联引用的论文段落中自动生成问题，二是邀请近期论文作者手动撰写与其工作相关的查询。所有查询均经过专家人工审查与编辑，确保了数据的高质量与领域专业性。LitSearch的推出为评估和提升科学文献检索系统提供了严谨的基准，对推动学术搜索引擎、研究辅助工具等应用的发展具有重要影响力。

当前挑战

LitSearch致力于解决的核心领域挑战在于，现有检索系统在处理科学文献时，往往难以捕捉研究问题中的深层语义关联与领域特有术语。例如，查询可能涉及特定方法、数据集或理论框架，而简单关键词匹配或通用语义模型无法有效区分细微差别。此外，科学文献检索要求系统具备对研究脉络（如引用关系、方法演进）的理解能力，这对传统检索架构构成了严峻考验。在数据集构建过程中，团队面临多重挑战：首先，如何平衡自动生成查询的规模与质量，确保GPT-4生成的问题既具多样性又不偏离真实研究场景；其次，专家审核环节需要耗费大量人力，且需设计一致性的质量评估标准以避免主观偏差；最后，构建覆盖6万余篇论文的检索语料库（包含干净版本与S2ORC格式），并确保元数据（如引用关系）的完整性与跨模式一致性，也是一项复杂的系统工程。

常用场景

经典使用场景

在科学文献检索领域，精准定位相关研究是知识发现的核心挑战。LitSearch数据集应运而生，其经典使用场景在于评估和提升面向机器学习与自然语言处理领域前沿论文的检索系统性能。该数据集精心构建了597条贴近真实需求的文献检索查询，每条查询均经过专家人工校验，并关联了精确的论文标识符，为衡量检索算法的准确率、召回率等核心指标提供了可靠基准。研究者可借助此数据集，系统性地对比不同检索模型（如基于密集向量或稀疏表示的方法）在复杂学术查询上的表现，从而推动检索技术的迭代与创新。

解决学术问题

学术研究中，现有检索基准往往依赖人工构建的、脱离真实研究语境的查询，难以反映学者在追踪最新成果时面临的精细化检索需求。LitSearch直面这一痛点，通过融合GPT-4基于论文内联引文自动生成与论文作者手动撰写两种方式，构建了高度仿真的文献检索场景。它有效解决了两个关键问题：一是弥补了针对近期ML/NLP论文的高质量检索基准的缺失，二是提供了包含特异性与质量标注的细粒度评估维度。这一数据集的诞生，使得研究者能够更客观地评测检索系统在捕捉前沿知识、处理模糊学术表述方面的能力，为信息检索领域的实证研究注入了新的活力。

衍生相关工作

LitSearch的发布催生了一系列后续探索性工作。一方面，它被用作评估新一代稠密检索模型（如基于Transformer的编码器架构）在科学文献领域泛化能力的标准测试集，研究者通过分析模型在LitSearch上的表现，揭示了现有方法在处理长尾学术术语和跨学科查询时的局限性。另一方面，该数据集的构建方法论启发了其他学科（如生物医学、物理学）专用检索基准的创建，形成了以GPT-4辅助生成与专家审核相结合的范式。此外，基于LitSearch的检索困难度标注，衍生出关于查询特异性与检索性能关联性的实证研究，为设计自适应检索策略提供了理论依据。