hltcoe/coveragebench

CoverageBench是一个用于评估临时检索系统中信息覆盖率的统一基准套件。它关注的是“这组文档是否包含所有重要信息？”而不是“这个文档相关吗？”，衡量检索集覆盖满足信息需求所需的离散信息单元（nuggets）的完整程度。这对于检索增强生成（RAG）尤其重要，因为检索覆盖率的差距会直接导致生成答案不完整或有偏见。数据集包含7个数据集中的334个主题，每个数据集提供主题、nuggets/子主题、相关性标签和基线。具体数据集包括CAsT 2020、Fair Ranking 2022、NeuclIR 2024 Pilot、RAG 2024、RAGTIME 2025、CRUX-MultiNews和CRUX-DUC04。CoverageBench is a unified benchmark suite for evaluating information coverage in ad hoc retrieval systems. Rather than asking is this document relevant?, coverage evaluation asks does this set of documents contain all the important information? measuring how completely a retrieved set covers the discrete information units (nuggets) needed to satisfy an information need. This is particularly important for Retrieval-Augmented Generation (RAG), where gaps in retrieval coverage propagate directly into incomplete or biased generated answers. The benchmark contains 334 topics across 7 datasets, each providing topics, nuggets/subtopics, relevance labels, and baselines. Specific datasets include CAsT 2020, Fair Ranking 2022, NeuclIR 2024 Pilot, RAG 2024, RAGTIME 2025, CRUX-MultiNews, and CRUX-DUC04.

搜集汇总

数据集介绍

构建方式

CoverageBench是一个面向信息检索系统覆盖度评估的统一基准测试套件。其构建基于多源数据集整合，囊括了CAsT 2020、Fair Ranking 2022、NeuCLIR 2024、RAG 2024、RAGTIME 2025以及CRUX系列（CRUX-MultiNews与CRUX-DUC04）共7个数据集，涵盖334个查询主题。每个数据集均提供查询语句、体现关键信息单元的细粒度信息片段（nuggets）、基于片段级别的相关性判断，以及由BM25和Qwen3-8B等6种检索配置生成的基线排序列表，从而确保覆盖度评估的标准化与可复现性。

特点

该数据集的核心特色在于聚焦于检索覆盖度的量化，而非传统相关性度量。通过将信息需求细化为离散的信息片段，CoverageBench能够揭示检索结果是否完整地包含了满足用户需求的所有重要信息，这对于检索增强生成（RAG）系统尤为关键，因为检索覆盖的缺失会直接导致生成答案的不完整或偏差。数据集配置丰富多样，每个子数据集均包含topic_id、query和nuggets字段，并配有公开的访问文档、索引及论文参考文献，便于研究者深入使用。

使用方法

使用CoverageBench需根据所选子数据集的不同而采用相应的文档集合访问方式。对于RAG 2024，可通过下载MS MARCO v2.1分段文档；NeuCLIR 2024、TREC Fair Ranking 2022和CAsT 2020则可通过ir_datasets库加载；CRUX系列及RAGTIME 2025数据集可通过HuggingFace的datasets库直接加载。此外，预构建的文档索引可从HuggingFace模型集合中获取。研究者可将这些组件与数据集中的查询、信息片段及基线排序列表结合，进行覆盖度评估实验与分析。

背景与挑战

背景概述

CoverageBench是一个于2025年发布的信息检索覆盖度评估基准套件，由多所高校及研究机构的研究人员联合构建，其核心研究问题聚焦于检索系统返回文档集合的信息完备性。传统相关性评估仅关注单篇文档与查询的匹配程度，而CoverageBench开创性地引入“信息颗粒”概念，度量检索结果对用户信息需求所涵盖的原子化知识单元的覆盖比例。该基准整合了CAsT 2020、Fair Ranking 2022等七个数据集，涵盖334个查询主题，为检索增强生成（RAG）系统提供了关键的覆盖性能评价工具，对推动信息检索从相关性到完备性的范式转变产生了重要影响。

当前挑战

CoverageBench所解决的核心领域挑战在于传统检索评估仅聚焦文档相关性，而忽略了检索结果集合对用户信息需求的覆盖完整性，这种局限性在RAG系统中尤为突出，检索覆盖的缺失会直接导致生成回答出现信息断层与偏见。在基准构建过程中，研究者面临三大挑战：一是信息颗粒的提炼与标准化，需从多源文档中人工提取离散知识单元并确保其完备性；二是跨数据集评估框架的统一，七个来源数据集的查询粒度、文档规模与标注体系差异显著；三是大规模文档索引的高效构建，如RAG 2024数据集的文档量高达1.13亿，对计算资源与检索效率提出了严苛要求。

常用场景

经典使用场景

CoverageBench是一个面向检索系统信息覆盖度评估的统一基准套件，其经典使用场景聚焦于衡量一组检索结果是否完整覆盖了用户信息需求中所有离散的信息单元，即所谓的“金块”（nuggets）。与传统的相关性评估不同，该数据集不再局限于判断单个文档是否相关，而是从全局视角考察检索集合的完备性。研究者可借助该基准，对基于BM25、Qwen3-8B等不同配置的检索流水线进行覆盖度评测，尤其适用于对比不同重排序策略对信息覆盖能力的影响，从而推动信息检索评价范式向更精细、更全面的方向演进。

解决学术问题

CoverageBench有效解决了传统信息检索评估中忽视覆盖度的问题，为学术界提供了一套跨七大数据集、涵盖334个查询主题的标准化评测框架。传统方法仅关注文档级相关性，容易导致检索系统遗漏关键信息，尤其在多角度、多子话题的复杂查询场景下表现不足。该数据集通过引入金块级标注，使研究者能够量化检索结果的信息缺失程度，从而深入分析系统在信息完整性方面的薄弱环节。其意义在于，它首次将覆盖度作为核心评价维度纳入统一基准，促进了对检索系统鲁棒性和全面性的深入研究，并为后续开发更智能的检索增强生成系统奠定了评价基础。

衍生相关工作

CoverageBench的发布已催生了一系列相关研究工作的开展。在其基础上，研究者开始探索基于金块级信号的新型检索优化方法，例如设计专门的损失函数来最大化覆盖度，或开发能够动态识别信息缺失的自适应查询扩展技术。此外，该数据集所倡导的覆盖度评估理念也正逐步渗透到多文档摘要评估、澄清式对话系统以及多媒体检索等领域，推动了面向信息完整性的新颖评价指标与排序模型的涌现。这些衍生工作不仅丰富了信息检索的理论体系，也促使工业级搜索系统在追求精度的同时，更加注重对用户信息需求的全面响应。