Tevatron/browsecomp-plus-corpus

BrowseComp-Plus是一个用于深度研究系统的新基准，它隔离了检索器和LLM代理的效果，以便对深度研究代理进行公平、透明的比较。该基准从OpenAI的BrowseComp获取具有挑战性的、需要推理密集型查询，但是它不是在实时网络上搜索，而是评估一个固定的、经过精心挑选的约10万篇网络文档。这些文档包括足够回答查询的人类验证证据文档和挖掘的困难负样本，以保持任务的挑战性。

BrowseComp-Plus is a new benchmark for Deep-Research systems, isolating the effect of the retriever and the LLM agent to enable fair, transparent comparisons of Deep-Research agents. The benchmark sources challenging, reasoning-intensive queries from OpenAIs BrowseComp, but instead of searching the live web, it evaluates against a fixed, curated corpus of approximately 100,000 web documents. This corpus includes both human-verified evidence documents sufficient to answer the queries and mined hard negatives to keep the task challenging.

搜集汇总

数据集介绍

构建方式

在深度研究（Deep-Research）系统评测领域，现有基准往往难以分离检索器与大模型智能体的贡献，导致比较结果混杂。为此，BrowseComp-Plus 基准应运而生，其语料库基于 OpenAI 的 BrowseComp 基准中具有挑战性、需深度推理的查询构建而成。与直接检索实时网络不同，该数据集固定了一个精心策划的语料库，包含约10万篇网络文档。语料库中既有人工验证的、足以回答查询的证据文档，也融入了挖掘出的难负例，以维持任务难度，确保评测的公平性与透明度。

特点

该数据集的核心特色在于其结构化的文档集，每条记录包含字符串类型的文档ID（docid）、完整的文本内容（text）及来源URL。语料库规模达100,195篇文档，对应830条查询，每条查询平均拥有6.1个证据文档、76.28个负例及2.9个黄金文档。文档平均长度约为5,179词，字符数达32,296，确保了内容的丰富性。这种设计有效隔离了检索与推理环节，为深度研究智能体的横向对比提供了坚实平台。

使用方法

使用该数据集时，研究者可进行端到端智能体评估，通过组合不同检索器与大模型，基于生成答案与真实答案的匹配度衡量性能。亦可单独评测检索器，利用数据集提供的人工标注（证据文档与黄金文档）计算标准检索指标，如nDCG@10。查询、答案及相关性判断存储于配套数据集 Tevatron/browsecomp-plus 中，并经过混淆处理以防止数据泄露。完整的下载、去混淆脚本及评估代码可在官方GitHub仓库获取，便于一键复用。

背景与挑战

背景概述

BrowseComp-Plus是由来自滑铁卢大学、OpenAI等机构的研究人员于2025年共同构建的深度研究系统评估基准。该数据集旨在解决现有深度研究系统评估中检索器与语言模型代理效果难以分离的困境，通过从OpenAI的BrowseComp中筛选出推理密集型查询，并构建一个包含约10万篇网络文档的固定语料库，实现了对代理组件公平且透明的比较。语料库不仅包含经人工验证的能回答查询的证据文档，还引入了挖掘的难负样本以维持任务挑战性。该基准的发布为深度研究系统的可复现评估提供了标准化平台，对检索增强生成、大语言模型及智能搜索等领域产生了重要影响。

当前挑战

该数据集面临的挑战主要体现在两个方面。在领域问题层面，深度研究系统需要处理高度复杂、需要多步推理的查询，传统检索指标如nDCG@10难以全面反映系统对推理过程的支撑能力，而端到端评估又常因代理行为差异导致比较失真。在构建过程中，挑战包括如何从海量网络文档中精确筛选出与830个查询相关的证据文档与黄金文档，同时挖掘足够数量的难负样本以防止任务过于简单；此外，还需设计混淆机制防止数据泄露，并确保语料库的规模与质量能支撑公平的跨系统比较。

常用场景

经典使用场景

BrowseComp-Plus 数据集的核心经典使用场景在于对深度研究（Deep-Research）系统进行公平且透明的评估。它通过提供固定的、经过精心筛选的约10万篇网络文档语料库，将检索器（retriever）与大语言模型智能体（LLM agent）的效果隔离，从而实现对深度研究代理的端到端性能评测。具体而言，研究者可基于该数据集测试不同检索与推理组合的生成答案与标准答案的匹配程度，亦可单独评估检索器在证据文档和黄金文档上的检索能力，如采用nDCG@10等标准指标。这一设计使得该数据集成为比较各类深度研究系统能力的权威基准。

衍生相关工作

基于BrowseComp-Plus数据集，学术界已衍生出多项经典工作。其中，最直接的相关工作包括对深度研究代理中检索模块与推理模块的联合优化研究，例如探索不同稀疏与密集检索策略对最终答案质量的影响。此外，该数据集还催生了针对困难负样本挖掘的算法改进，以及基于人工标注证据的细粒度评估框架。在模型层面，研究者利用该语料库训练了更鲁棒的多跳推理模型，并提出了新的指标来量化检索与推理之间的耦合程度。这些衍生工作进一步巩固了BrowseComp-Plus作为深度研究系统评估领域核心基准的地位。

数据集最近研究

最新研究方向

当前，深度研究（Deep-Research）智能体在信息检索与复杂推理任务中展现出巨大潜力，但其评估基准往往因检索器与大语言模型（LLM）代理的耦合而难以实现公平透明的比较。Tevatron/browsecomp-plus-corpus 数据集应运而生，作为 BrowseComp-Plus 基准的核心语料库，它通过固定约10万篇精选网页文档，巧妙隔离了检索与推理环节的影响。该数据集不仅包含经人工验证的充分证据文档以保障答案可溯源性，还引入了高难度负例样本，确保任务挑战性不因语料固化而降低。这一设计为评估端到端深度研究智能体提供了标准化的竞技场，并支持独立评测检索器性能（如nDCG@10）。结合检索增强生成（RAG）与LLM推理的前沿趋势，BrowseComp-Plus 为构建更可靠、可复现的智能体评估体系树立了重要里程碑，有望推动搜索与问答系统从黑箱比较走向模块化透明研究。