PatSnap/design-fto-bench

PatSnap Design FTO Bench 是一个用于评估设计专利自由实施（FTO）检索系统的基准数据集，专注于跨模态图像搜索。该数据集基于真实专利无效程序构建，包含91个样本，覆盖中国（CN）管辖区域。每个样本提供一个查询产品图像（或设计专利图）以及一组真实标注的目标设计专利，这些专利通过专利无效程序被确认为构成侵权风险。数据模态为PNG图像（产品照片与专利线条图/照片），图像目录结构为data/image/<管辖区域>/<类别>/<子类>/<专利号>/<文件>.png。真实标注是基于专利无效程序确认的侵权等效专利对。数据集覆盖所有26个一级洛迦诺（Locarno）分类类别，采用CC BY-NC 4.0许可证，仅用于研究和非商业评估目的。该基准旨在评估检索系统在返回相关设计专利以支持FTO审查方面的性能，使用命中率@K和PRES@N等指标进行评分。PatSnap Design FTO Bench is a benchmark dataset for evaluating design patent freedom to operate (FTO) retrieval systems, with a focus on cross-modal image search. This dataset is constructed based on real patent invalidation proceedings, containing 91 samples and covering the jurisdiction of China (CN). Each sample provides a query product image (or design patent drawing) and a set of ground-truth target design patents, which have been confirmed to pose infringement risks through patent invalidation proceedings. The data modality consists of PNG images (product photos and patent line drawings/photos), and the image directory structure follows the pattern: data/image/<jurisdiction>/<category>/<subcategory>/<patent_number>/<file_name>.png. The ground-truth annotations are pairs of infringing equivalent patents confirmed via patent invalidation proceedings. The dataset covers all 26 top-level Locarno classification categories, is licensed under CC BY-NC 4.0, and is intended solely for research and non-commercial evaluation purposes. This benchmark aims to evaluate the performance of retrieval systems in returning relevant design patents to support FTO review, with metrics such as Hit Rate@K and PRES@N used for scoring.

搜集汇总

数据集介绍

构建方式

Design-FTO-Bench数据集由PatSnap基于真实专利无效宣告程序构建，旨在评估外观设计专利自由实施检索系统的跨模态图像搜索能力。每个样本包含一幅查询产品图像或设计专利附图，以及经过无效程序确认构成侵权风险的专利集合作为金标准。数据集收录91个样本，全部来源于中国专利无效案例，覆盖全部26个洛迦诺一级分类。图像以PNG格式存储，包含产品照片与专利线条图或照片两种模态。数据以Parquet格式组织，字段包括查询专利号、目标专利号、图像路径、案件编号及分类代码等信息。

特点

该数据集具有高专业性与可复现性，其金标准基于法律实践的无效宣告程序，确保了侵权判断的权威性。作为检索专用基准，它聚焦于图像检索环节，不涉及侵权裁决或法院判决结论。数据集全部样本来源于中国专利，保证了地域特异性，同时覆盖全部26个洛迦诺一级分类，确保了设计领域的广泛性。提供命中率@K和PRES@N两种评估指标，其中PRES指标基于Magdy与Jones提出的专利检索评估方法并加入漏检惩罚修正，能综合衡量检索结果的召回率与排序质量。

使用方法

用户可通过HuggingFace Datasets库加载数据集，使用`load_dataset('PatSnap/design-fto-bench', split='test')`获取测试集。每个样本的查询图像直接嵌入Parquet文件，无需额外查找。评估时，将检索系统返回的专利列表与样本中的`target_pns`字段进行比对，使用`search_metrics.py`脚本计算命中率与PRES指标。评分标准按查全率分为A至D四个等级，A级要求Top-100命中率不低于90%。该数据集仅限研究与非商业评估用途，需遵守CC BY-NC 4.0许可协议。

背景与挑战

背景概述

设计专利的自由实施（Freedom-to-Operate, FTO）检索是知识产权领域的核心任务，旨在判断产品设计是否侵犯他人有效专利权。由知识产权服务商智慧芽（PatSnap）于2026年创建的Design FTO Bench数据集，聚焦于跨模态图像检索场景，基于真实专利无效宣告程序构建，覆盖全部26个洛迦诺一级分类。该数据集首次为评估设计专利FTO检索系统提供了标准化基准，对提升专利风险排查的自动化水平具有重要推动作用，在知识产权信息服务与计算机视觉交叉领域产生深远影响。

当前挑战

该数据集的核心挑战在于解决设计专利图像检索的跨模态难题，即从产品实物照片到专利线条图或照片的视觉匹配，涉及形状、纹理等抽象特征的对齐，远超传统图像分类范畴。构建过程中，需从大量专利无效程序中筛选具有法律效力的侵权对应关系，面临标注数据稀缺、法律认定与视觉相似性不一致等难点，且当前版本仅涵盖中国专利，缺乏跨国司法管辖区样本，限制了模型的泛化能力。此外，数据集明确指出视觉相似性不等于法律侵权判定，检索结果仅作为人工审查的辅助输入，体现了领域问题的本质复杂性。

常用场景

经典使用场景

设计专利自由实施（Freedom-To-Operate, FTO）检索是知识产权领域的一项核心任务，旨在评估一个产品设计是否可能侵犯他人已有的设计专利。design-fto-bench数据集专为此场景而生，提供了91组经过专利无效程序确认的侵权风险配对样本。每组样本包含一张查询产品图像（或设计专利附图）以及一组构成侵权风险的目标设计专利集合。该数据集覆盖全部26个洛迦诺一级分类，横跨多个设计领域，为评估跨模态图像检索系统在FTO任务中的表现提供了标准化的测试基准。研究者可基于该数据集评估检索系统在给定产品图像时，能否准确召回具有潜在侵权风险的设计专利，从而验证系统的检索精度与鲁棒性。

解决学术问题

学术研究中，设计专利检索长期面临两大挑战：跨模态检索的视觉匹配难度与侵权判定的标注数据匮乏。design-fto-bench数据集基于真实的专利无效宣告程序构建，提供了经过法律确认的侵权等价配对，解决了以往研究中缺乏高质量、可验证侵权标签的困境。该数据集的问世使得研究者能够系统性地评估图像检索算法在FTO场景下的表现，量化模型在召回率与排序质量上的优劣。通过引入Hit Rate@K与PRES@N等标准化评估指标，它促进了跨模态检索领域研究范式的规范化，推动了视觉相似性度量与专利法律风险之间的学术对话。

衍生相关工作

design-fto-bench数据集的发布催生了一系列衍生研究工作。基于该基准，研究者开发了专用于设计专利检索的跨模态视觉相似性模型，优化了产品实物图与专利线条图之间的特征对齐策略。此外，该数据集被用于评估和比较不同图像检索系统在FTO任务中的性能，推动了专利检索领域排行榜的建立。在评价方法层面，研究团队提出了结合命中率与排序质量的PRES指标修正方案，并应用于该数据集的基准测试中。未来，该数据集有望扩展至美欧日等多司法管辖区，支撑跨域FTO检索系统的研究，并为人机协同的智能专利分析工具提供验证平台。