QBD-RANKEDDATAGEN

QBD-RANKEDDATAGEN是一个用于生成定制排名数据集的过程，旨在提高基于文档查询的搜索性能。该数据集由摩根大通AI研究创建，旨在通过使用大型语言模型（LLMs）对文档进行重新排序，以减少人工工作量的同时，仍能获得足够的专家知识来调整检索模型。该数据集已在文本检索会议（TREC）的QBD数据集上进行评估，并通过调整BM25模型的参数来优化检索结果。数据集适用于需要文档匹配的任务，如专利匹配、法律案例检索和学术文献审查等。QBD-RANKEDDATAGEN通过引入LLM重新排序技术，实现了在生成定制排名数据集的过程中，有效减少人工专家的工作量，并允许在数据集中嵌入专家知识，从而优化检索模型和候选重新排序的性能。

QBD-RANKEDDATAGEN is a pipeline for generating customized ranking datasets, aimed at improving the performance of document query-based search. This dataset was developed by JPMorgan Chase AI Research. It is designed to utilize large language models (LLMs) to re-rank documents, thereby reducing manual workload while retaining sufficient expert knowledge for tuning retrieval models. This dataset has been evaluated on the QBD dataset from the Text Retrieval Conference (TREC), and retrieval results are optimized by adjusting the parameters of the BM25 model. The dataset is applicable to tasks requiring document matching, such as patent matching, legal case retrieval, academic literature review, and more. By introducing LLM-based re-ranking technology, QBD-RANKEDDATAGEN effectively reduces the workload of human experts during the customized ranking dataset generation process, while enabling the embedding of expert knowledge into the dataset. This ultimately optimizes the performance of both retrieval models and candidate re-ranking.

搜集汇总

数据集介绍

构建方式

QBD-RANKEDDATAGEN数据集的构建采用了创新的流程，通过结合大型语言模型（LLMs）与领域专家知识，显著降低了人工标注成本。其核心框架包含检索、重排序和人工评估三个关键步骤，其中重排序环节利用LLMs生成文档评分及解释，支持点对（pairwise）和单文档（pointwise）两种评分策略。该流程特别设计了专家知识注入机制，允许通过自然语言指令调整排序标准，同时生成可解释的排序结果供专家复核，形成闭环优化。数据集构建以TREC临床实验和CORD-19新冠文献数据集为基础，通过控制训练集规模模拟真实场景中专家标注数据稀缺的情况。

特点

该数据集的核心特点体现在三个方面：领域适应性方面，通过LLMs融合专家知识，可生成符合专利匹配、法律案例检索等专业场景需求的定制化排序数据；技术架构方面，首创将点对比较策略应用于长文档排序，有效解决传统列表式排序（listwise）在长文本场景下的注意力偏差问题；评估维度方面，除常规排序指标外，特别引入Kendall’s τb系数和Spearman等级相关等统计量，全面衡量排序质量。值得注意的是，数据集保留了LLM生成的解释文本，为研究可解释性信息检索提供了独特资源。

使用方法

使用该数据集时需遵循三阶段流程：预处理阶段需配置领域特定的排序过滤函数，剔除低质量查询-候选对；模型优化阶段支持两种应用模式——既可直接用生成排序数据微调BM25等检索模型参数（实验显示k1=1.2-2.0、b=0.1-1.0为有效调参范围），也可作为基准测试集评估新型排序算法；人工复核阶段建议优先采用点对比较结果，因实验证明其较单文档评分更符合人类判断模式（临床实验数据集上点对方法Kendall’s τb达0.683）。对于长文档场景，推荐结合滑动窗口等技术处理LLM上下文长度限制。

背景与挑战

背景概述

QBD-RANKEDDATAGEN是由J.P. Morgan AI Research的Sriram Gopalakrishnan和Sunandita Patra于2025年提出的数据集生成框架，旨在解决查询-文档匹配（Query-By-Document, QBD）问题。QBD问题在专利匹配、法律案例检索和学术文献综述等领域具有重要应用。传统检索方法如关键词搜索和文档嵌入虽然有效，但在特定领域内的优化需要大量标注数据，而人工标注成本高昂且耗时。QBD-RANKEDDATAGEN通过利用大型语言模型（LLMs）生成定制化的排序数据集，显著降低了领域专家参与的需求，同时保持了数据的质量。该框架在TREC（Text Retrieval Conference）数据集上的实验表明，其能够有效提升BM25等检索模型的性能。

当前挑战

QBD-RANKEDDATAGEN面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，QBD搜索需要处理长文档匹配，而现有检索方法在长上下文嵌入和批量处理方面存在局限性，且缺乏针对长文档的评估基准。此外，特定领域（如公司内部文档或法律案例）的数据保护要求和专家资源的稀缺性进一步增加了数据获取的难度。在构建过程方面，生成高质量排序数据集需要解决LLM在长文档排序中的注意力偏差问题，以及如何有效整合领域专家知识以提升排序准确性。实验表明，仅依赖LLM生成的排序数据可能不足以优化检索模型，仍需人工验证，这凸显了设计高效人机协作机制的重要性。

常用场景

经典使用场景

QBD-RANKEDDATAGEN数据集在信息检索领域具有广泛的应用，尤其在查询-文档（Query-By-Document, QBD）搜索任务中表现突出。该数据集通过生成定制化的排名数据集，优化了专利匹配、法律案例检索和学术文献综述等任务中的文档匹配性能。其核心在于利用大型语言模型（LLMs）进行文档重排序，结合领域专家的输入，显著提升了检索系统的准确性和效率。

衍生相关工作

QBD-RANKEDDATAGEN数据集推动了多项相关研究的发展，尤其是在LLM重排序和领域特定检索领域。基于该数据集，研究人员开发了多种重排序方法，如单文档评分（SCS）和成对文档评分（PCS），进一步优化了检索性能。此外，数据集还启发了对BM25参数调优的研究，为工业级搜索引擎（如OpenSearch）的性能提升提供了理论支持。这些衍生工作显著拓展了QBD搜索的应用场景和技术边界。

数据集最近研究

最新研究方向

在信息检索领域，QBD-RANKEDDATAGEN数据集的研究聚焦于利用大型语言模型（LLMs）优化文档检索任务。前沿研究主要探索如何通过LLM重排序技术减少人工标注成本，同时提升查询-文档匹配的准确性。热点方向包括结合领域专家知识的提示工程、无监督与有监督的LLM重排序方法比较，以及长文档匹配的特定挑战。该数据集在专利匹配、法律案例检索等专业场景中的应用，显著推动了检索模型的领域适应性优化，为信息检索系统的高效构建提供了新的方法论支持。

相关研究论文

• QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort

  摩根大通AI研究 · 2025年