PatSnap/novelty-search-bench

PatSnap新颖性搜索基准是一个用于评估专利新颖性搜索（现有技术搜索）系统的基准数据集。该数据集包含569个样本，每个样本包括一个查询专利的公开号（PN）以及由专利审查员识别的X型（破坏新颖性）现有技术引用作为真实标签。数据集设计为内部完整评估集的50%公开版本，结合了两种互补的样本类型：跨管辖区域家族扩展样本和单管辖区域非扩展样本，以便在标准非扩展基线之外，还能对信息量最大的现有技术场景进行检索系统测试。数据来源于真实的专利审查记录，覆盖CN、US、EP、WO、AU等多个管辖区域，语言包括英语（55.0%）和中文（45.0%），IPC分类覆盖所有8个部分（A-H）。每个样本提供了查询专利的完整描述文本，可直接用于检索系统输入，无需外部查找。数据集还提供了详细的字段说明、真实标签构建方法、评估指标（如top@K和Recall@K）以及样本分布统计（按类型、管辖区域、语言和IPC分类）。PatSnap Novelty Search Bench is a benchmark for evaluating patent novelty search (prior art search) systems. Each sample contains a query patent publication number (PN) along with ground truth X-type (novelty-destroying) prior art references identified by patent examiners. The Bench is deliberately designed as a 50% public release of an internal full evaluation set that combines two complementary sample types — cross-jurisdiction family-expanded samples and single-jurisdiction non-expanded samples — so that retrieval systems can be probed on the most informative prior-art scenarios alongside a standard non-expanded baseline. The data is sourced from real patent examination records, covering jurisdictions such as CN, US, EP, WO, and AU, with languages including English (55.0%) and Chinese (45.0%), and IPC coverage across all 8 sections (A–H). Each sample includes the full description text of the query patent, ready to be fed directly into a retrieval system without external lookup. The dataset provides detailed field descriptions, ground truth construction methods, evaluation metrics (e.g., top@K and Recall@K), and distribution statistics (by sample type, jurisdiction, language, and IPC section).

搜集汇总

数据集介绍

构建方式

PatSnap Novelty Search Bench 数据集源自真实的专利审查记录，旨在为专利新颖性检索（即现有技术检索）系统提供标准化评估基准。其构建策略别具匠心，通过抽取审查员在专利审查过程中认定的X类破坏新颖性的对比文件作为黄金标准。数据集以50%的比例公开了内部完整评估集，并专门融合了两种互补样本：跨司法管辖区同族扩展样本与单一司法管辖区非扩展样本，从而在常规基准之上，深入探测检索系统在面对最具信息量的现有技术场景时的性能表现。

使用方法

使用该数据集时，用户可直接利用每个样本中'description'字段所包含的专利全文作为检索查询输入，无需额外外部查询。评估时，需根据样本类型构建黄金标准：对于'family'类型，黄金标准由'pn_x'与'pn_family_x'的并集构成；对于'public'类型，则为'pn_x'。支持采用top@K及Recall@K等标准检索指标进行性能评估，官方提供了参考指标脚本以确保评估的严谨性。此外，数据集还提供了按同族合并的简化评估模式，便于在不同粒度下衡量检索系统的表现。

背景与挑战

背景概述

专利新颖性检索，亦称在先技术检索，是专利审查与知识产权管理中的核心环节，旨在识别可能破坏专利申请新颖性的已有技术文献。随着全球专利数量的急剧增长和跨辖区申请日益普遍，传统依赖人工检索的方式已难以应对海量数据的挑战。在此背景下，PatSnap（智慧芽）团队于2025年发布了PatSnap Novelty Search Bench，由Shu Zhang、LiSha Zhang、Kai Duan和XinKai Sun等研究人员主导构建，其配套论文《Research on Evaluation Methods for Patent Novelty Search Systems and Empirical Analysis》发表于arXiv（编号2508.17782）。该基准数据集聚焦于评估专利新颖性检索系统的真实性能，通过整合跨辖区专利族扩展样本与单辖区非扩展样本，提供了涵盖中国、美国、欧洲、PCT及澳大利亚等多个司法管辖区的569个真实专利审查记录，覆盖全部IPC大类（A-H），为信息检索与自然语言处理领域提供了一个兼具理论价值与实践意义的标准化评估平台。

当前挑战

该数据集所解决的核心领域问题在于，专利新颖性检索面临检索结果相关性不足与跨语言、跨辖区检索困难的双重挑战，传统检索系统在应对多语言专利文本、复杂专利族关系以及审查员引用的X类破坏性文献时表现欠佳。构建过程中面临多重挑战：首先，需要从海量专利审查记录中精确筛选出被审查员标记为X类的破坏性在先技术，确保标注质量；其次，跨辖区专利族扩展要求系统性地收集同一专利族在不同司法管辖区的审查意见，并整合来自不同语言、不同格式的引文信息；再次，数据集的平衡性设计需要兼顾各类IPC技术领域与司法管辖区的分布，避免评估偏差；最后，在公开版本仅发布内部完整评估集50%样本的前提下，如何保证采样代表性且不损害评估的统计效力，也成为构建过程中必须攻克的难题。

常用场景

经典使用场景

在专利信息检索与知识产权分析领域，新颖性搜索（Novelty Search）是一项核心任务，旨在评估一项发明是否已被现有技术公开。PatSnap Novelty Search Bench 作为专为此场景设计的基准测试集，依托真实的专利审查记录，提供了569个精心构建的查询样本。每个样本均包含专利全文描述及其对应的审查员引用的X型现有技术参考文献，覆盖中国、美国、欧洲、PCT及澳大利亚等多司法管辖区，并涵盖英汉双语。该数据集特别设计了跨辖区家族扩展与单一辖区非扩展两种样本类型，使研究者能够全面评估检索系统在不同复杂场景下的表现，成为衡量新颖性搜索算法性能的权威标尺。

解决学术问题

该数据集精准回应了专利新颖性搜索领域长期存在的两大学术难题：如何系统性地评估跨语言、跨司法管辖区的现有技术检索效能，以及如何构建包含审查员真实引用关系的、可复现的评估基准。通过融合家族扩展与非扩展样本，它揭示了传统专利检索评估中忽视的全局多语种融合挑战——同一发明的不同语言家族成员间可能存在分散的现有技术引用，而现有系统往往难以准确捕获。Novelty Search Bench 的发布推动了检索评估方法论从单语种、单司法管辖区的碎片化范式向跨域、跨语言、多层次验证的整合式研究转型，为制定更严谨的专利检索系统评估标准奠定了数据基础。

实际应用

在实际应用中，Novelty Search Bench 直接服务于知识产权密集型产业中的专利审查与侵权风险预判环节。专利审查员可利用该基准筛选出能更精准定位潜在冲突现有技术的检索模型，从而提升审查效率并降低漏检风险。企业知识产权部门在提交专利申请前，可依托基于本数据集训练的检索系统进行新颖性预评估，有效规避重复申请。此外，该数据集还支持对比不同检索策略（如基于全文、摘要或IPC代码的方法）的实际召回效果，尤其在化工、物理、机械等IPC广泛覆盖的领域，为商品化专利检索工具（如PatSnap Eureka）的性能优化提供了可重复验证的测试环境，推动技术落地从理论走向工程实践。

数据集最近研究

最新研究方向

当前，专利新颖性搜索领域的前沿研究正围绕跨法域、多语言场景下的检索系统评估展开。PatSnap Novelty Search Bench的推出，精准回应当前全球化知识产权布局中对检索系统可靠性的迫切需求。该基准通过引入跨法域专利族扩展样本，模拟复杂真实场景，聚焦于评测检索模型在跨司法管辖区新颖性破坏性文献识别中的表现。结合伴随着大型语言模型在信息检索领域的广泛应用，该基准为衡量模型在专利文本理解、跨语言语义匹配以及IPC多层次分类体系下的推理能力提供了标准化测评框架。其公开的569例高质量标注样本，为推进专利检索从传统关键词匹配向语义化、智能化的转型提供了权威评估工具，对提升专利审查效率与创新保护质量具有深远意义。