KLoB

arXiv2023-09-28 更新2024-07-30 收录

下载链接：

https://github.com/juyiming/KLoB

下载链接

链接失效反馈

官方服务：

资源简介：

KLoB是一个用于评估语言模型中知识定位方法可靠性的基准，它检查了知识定位方法应满足的三个基本属性，并提供了一种重新评估事实知识局部性假设有效性的方法。

KLoB is a benchmark for evaluating the reliability of knowledge localization methods in language models. It examines three fundamental properties that knowledge localization methods should satisfy, and provides a method to re-evaluate the validity of the factual knowledge locality hypothesis.

创建时间：

2023-09-28

原始信息汇总

KLoB

数据集名称：KLoB 数据集描述：用于评估语言模型中知识定位方法的基准数据集。

数据集示例

KLoB-c

示例内容： json { "prompts": ["The native language of Norman Rockwell is _", "The mother tongue of Norman Rockwell is _", "The language Norman Rockwell speaks at hometown is "], "knowledge": ["Norman Rockwell", "native(P103)", "English"] }

KLoB-r

示例内容： json { "single_knowledge": ["Ann Druyan", "spouse_(P26)", "Carl Sagan"], "knowledge_chain": ["Ann Druyan", "spouse_(P26)", "Carl Sagan", "employer_(P108)", "Cornell University"], "single_knowlege_prompts": ["Ann Druyan is married to _", "The spouse of Ann Druyan is none other than _", "In matrimony, Ann Druyan is bound to _"], "knowlege_chain_prompt": "the employer of the spouse of Ann Druyan is _" }

KLoB-u

示例内容：

"extirpation sensa subiodide conquedle spikebill drabbish unvalidating becuiba _"

搜集汇总

数据集介绍

构建方式

KLoB数据集的构建依托于Wikidata知识库与MQUAKE基准数据集。对于KLoB-c子任务，从Wikidata中选取关系类型，并由领域专家为每种关系手工编写三种语法结构和词汇各异的模板，进而利用模板与对应实体生成句子。KLoB-r子任务则基于MQUAKE中的两跳事实链，首跳事实沿用KLoB-c模板生成单事实句子，完整事实链则通过改写多跳问题得到。KLoB-u子任务通过将KLoB-c与KLoB-r示例中的词汇替换为NLTK词库中的随机单词及标点符号来构建。所有生成的数据经Llama2-7b模型以8样本上下文学习方式筛选，仅保留模型能正确预测答案的事实知识。

使用方法

使用KLoB时，研究者首先将待评估的定位方法应用于三个子任务中的每条输入句子，获取模型参数的得分或选定参数集合。对于KLoB-c与KLoB-r，计算候选定位结果内部的相似度（Simcand）与全体样本间的相似度（Simall），进而得出RSim值以衡量一致性或相关性。对于KLoB-u，则计算含事实知识句子（KLoB-c与KLoB-r）的平均参数标准差（SDfactual）与无事实知识句子（KLoB-u）的平均标准差（SDnonfactual），从而得到RSD值以评估无偏性。最终，通过综合RSim与RSD得分，即可对现有知识定位方法的可靠性进行量化比较与分析。

背景与挑战

背景概述

随着大规模语言模型在存储事实性知识方面展现出卓越能力，知识编辑技术应运而生，其中“定位-编辑”范式因其高效性而备受关注。然而，现有研究对定位方法能否精准锁定嵌入特定知识的模型参数缺乏系统性评估，且事实性知识的局部性假说亦面临质疑。在此背景下，Yiming Ju与Zheng Zhang于2023年提出了KLoB（Knowledge Locating Benchmark），这是首个专门评估语言模型中知识定位方法的基准。该基准基于Wikidata与MQUAKE构建，通过一致性、相关性与无偏性三个核心准则，系统考察定位结果的可信度，为知识编辑领域提供了关键的量化分析工具，并推动了局部性假说的深入再评估。

当前挑战

KLoB所面临的挑战主要体现在两个层面。其一，在领域问题层面，当前知识定位方法缺乏统一评估标准，难以验证其是否真正捕获目标知识而非受语法结构或同义词替换等干扰；同时，事实性知识局部性假说的有效性尚存争议，亟需可量化的检验手段。其二，在基准构建过程中，数据生成需兼顾多模板语法多样性（如KLoB-c中为每种关系设计三种人工模板），并确保事实链（KLoB-r）的语义连贯性，同时通过随机词替换（KLoB-u）构造无知识输入以测试无偏性，这些步骤对数据质量与模型兼容性提出了严苛要求。

常用场景

经典使用场景

在大规模语言模型的知识编辑领域，KLoB作为首个专门评估知识定位方法的基准，被广泛用于检验定位技术能否精准识别与特定事实知识相关联的模型参数。研究者通过其三个子任务——KLoB-c（一致性）、KLoB-r（相关性）和KLoB-u（无偏性），系统性地考察定位结果是否在语义变体中保持稳定、是否能够捕捉知识链的内在关联，以及是否在无知识输入时呈现均匀的参数得分。这一基准为“定位-编辑”范式提供了标准化的评估框架，使得不同定位方法的性能可比对、可复现，从而推动知识编辑技术向更可靠、更精确的方向演进。

解决学术问题

KLoB直面当前知识定位研究中两大核心瓶颈：其一是缺乏对定位方法有效性的量化检验，其二是对事实知识局域性假设的验证手段不足。通过定义一致性、相关性和无偏性三项判据，该基准首次为定位结果的可靠性提供了可操作的度量标准，例如利用相对相似度（RSim）和相对标准差（RSD）等指标，从统计层面揭示定位方法是否真正锁定蕴含知识的参数子集。这一突破不仅为质疑局域性假设的学者提供了实证工具，还催生了关于知识在模型中分布形态的更深层讨论，显著提升了知识编辑研究的理论严谨性。

实际应用

在实际应用中，KLoB为需要频繁更新或修正事实知识的大语言模型部署场景提供了关键支撑。例如，在智能客服、新闻摘要生成或法律文书辅助等系统中，模型持有的知识可能因时效性而过时或存在偏差，借助KLoB评估的知识定位方法，开发者能够以极低的计算成本精准定位并修改相关参数，避免全面重新训练的巨大开销。此外，该基准还可用于检测模型对同一事实的不同表述是否产生一致的定位结果，从而提升系统在复杂、多变的用户输入下的鲁棒性，确保知识编辑操作既高效又安全。

数据集最近研究