MoZIP

MoZIP是一个多语言知识产权评估基准，旨在评估大型语言模型在知识产权领域的性能。该基准包含三个挑战性任务：知识产权多项选择测验（IPQuiz）、知识产权问答（IPQA）和专利匹配（PatentMatch）。数据集涵盖九种语言，通过收集来自不同国家和语言的在线知识产权知识测试问题构建。MoZIP不仅用于评估模型，还推动了首个面向知识产权的多语言大型语言模型MoZi的开发，该模型基于BLOOMZ，通过监督微调处理多语言知识产权相关文本数据。数据集的应用领域主要集中在知识产权保护和创新激励，旨在解决当前大型模型在特定领域评估中的不足。MoZIP is a multilingual intellectual property (IP) evaluation benchmark designed to assess the performance of large language models (LLMs) in the intellectual property domain. This benchmark encompasses three challenging tasks: Intellectual Property Quiz (IPQuiz), Intellectual Property Question Answering (IPQA), and Patent Matching (PatentMatch). The dataset spans nine languages and is constructed by gathering online intellectual property knowledge test questions from diverse countries and linguistic backgrounds. MoZIP not only serves as a tool for model evaluation but also facilitates the development of MoZi, the first multilingual large language model tailored for intellectual property. Built on BLOOMZ, MoZi processes multilingual intellectual property-related textual data via supervised fine-tuning. Its application scenarios primarily focus on intellectual property protection and innovation incentives, aiming to address the current shortcomings in domain-specific evaluation of large-scale models.

搜集汇总

数据集介绍

构建方式

MoZIP数据集的构建过程体现了对知识产权领域多语言特性的深度考量。其核心数据来源于公开可访问的在线资源，包括各国知识产权组织的官方知识测试题库、常见问题解答（FAQ）以及专利文献数据库。研究团队首先从全球范围内搜集了涵盖七种语言的2000道知识产权多项选择题，形成了IPQuiz子集。IPQA子集则从FAQ中精选了100个问题，用以评估模型对用户实际关切的理解。对于专利匹配任务，团队构建了一个包含25万份WIPO专利的平行语料库，并基于国际专利分类（IPC）系统和混合检索策略（BM25与稠密向量检索），精心设计了1000道中英文多项选择题，确保了任务的专业性和挑战性。

使用方法

研究者或开发者可通过其公开的代码仓库获取MoZIP数据集，并按照既定流程对各类大语言模型进行评估。对于IPQuiz和PatentMatch这类选择题任务，通常将问题与选项组合成提示词输入模型，然后通过规则匹配或人工校验的方式解析模型输出，计算其准确率。对于IPQA的生成式任务，则需要采用人工评估或自动化指标，对比模型生成的答案与参考标准或不同模型输出之间的质量差异。该数据集不仅可用于横向比较不同模型的性能，其附带的指令微调数据还可用于对基础模型进行领域适配训练，例如构建如MoZi这样的领域专用模型，从而推动知识产权领域自然语言处理技术的发展。

背景与挑战

背景概述

随着大语言模型在通用自然语言处理任务中展现出卓越能力，其在特定垂直领域的应用潜力与性能评估成为研究焦点。知识产权领域作为激励创新与保护创造力的核心，长期以来缺乏针对性的基准测试工具。2024年，由中国科学院深圳先进技术研究院、深圳技术大学、深圳大学及哈尔滨工业大学（深圳）等机构的研究团队联合推出了首个多语言知识产权基准数据集MoZIP。该数据集旨在系统评估大语言模型在知识产权领域的理解与应用能力，覆盖专利、商标、版权等多元IP权利类型，涵盖九种语言，填补了该领域基准数据的空白。其核心研究问题聚焦于探索大语言模型对创新理念、法律条文及专利文本等专业知识的掌握程度，为AI在科学创新与知识产权保护中的深度融合提供了关键的评估基础。

当前挑战

MoZIP数据集所应对的核心领域挑战在于评估大语言模型对复杂知识产权概念与法规的深度理解能力，这涉及跨语言、跨法域的专业知识融合与推理。具体而言，数据构建面临多重挑战：一是知识产权数据具有高度的专业性与法律敏感性，需从各国官方机构及专利数据库精准采集多语言文本，并确保法律条款与专利描述的权威性与时效性；二是专利匹配任务要求模型在长篇技术文档中识别语义相似性，而专利文本常包含高度重叠的专业术语与结构化工描述，这对模型的语义理解与长文本处理能力提出了严峻考验；三是多语言问答数据需平衡语言覆盖度与知识代表性，尤其在低资源语言中获取高质量标注数据尤为困难。这些挑战共同塑造了MoZIP数据集的复杂性与前沿性。

常用场景

经典使用场景

在知识产权领域，随着大型语言模型在通用自然语言处理任务中展现出卓越能力，评估其在专业领域的理解与应用成为研究热点。MoZIP数据集作为首个多语言知识产权基准，其经典使用场景聚焦于系统评估模型对专利、商标、版权等复杂法律概念与创新描述的掌握程度。通过涵盖九种语言的多样化任务，如知识产权多项选择测验、问答及专利匹配，该数据集为研究者提供了标准化的测试平台，用以衡量模型在跨语言环境下的专业知识推理与文本理解性能。

解决学术问题

MoZIP数据集有效应对了知识产权领域缺乏标准化评估工具的学术空白。传统自然语言处理基准往往忽视专业领域的特殊性，导致模型在涉及法律条文、创新术语及多语言专利文本时表现受限。该数据集通过整合真实世界知识产权法规、常见问题与专利文档，解决了模型在专业术语理解、跨语言知识迁移以及长文本语义匹配等方面的评估难题。其意义在于推动了领域专用语言模型的发展，为量化模型在知识产权应用中的可靠性提供了科学依据，促进了人工智能与法律、创新管理的交叉研究。

实际应用

在实际应用层面，MoZIP数据集为知识产权自动化服务提供了关键支撑。例如，在专利检索与分类系统中，基于该数据集训练的模型能够更精准地识别相似技术方案，提升检索效率与准确性。法律咨询与教育领域可借助其多语言问答能力，为用户提供跨地域的知识产权政策解读。此外，企业创新管理可通过模型对专利文本的深度理解，辅助进行技术趋势分析与侵权风险评估，从而优化知识产权战略布局，降低法律纠纷成本。

数据集最近研究

最新研究方向

在知识产权领域，随着大语言模型在通用任务中展现出卓越能力，其在专业垂直领域的应用潜力成为研究热点。MoZIP作为首个多语言知识产权评估基准，推动了该领域的前沿探索，聚焦于模型对专利匹配、法规理解和多语言问答的深度处理能力。当前研究围绕提升模型在长文本专利分析和跨语言知识产权概念泛化上的表现展开，结合领域自适应预训练与指令微调，以应对全球创新保护中的复杂需求。这一方向不仅助力构建更专业化的法律人工智能工具，也为促进国际知识产权协作与知识共享提供了技术支撑。

相关研究论文

• MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property

  中国科学院深圳先进技术研究院 · 2024年