zjunlp/ConceptEdit

--- license: cc-by-nc-sa-4.0 --- <div align="center"> **Editing Conceptual Knowledge for Large Language Models** --- <p align="center"> <a href="#-conceptual-knowledge-editing">Overview</a> • <a href="#-usage">How To Use</a> • <a href="#-citation">Citation</a> • <a href="https://arxiv.org/abs/2403.06259">Paper</a> • <a href="https://zjunlp.github.io/project/ConceptEdit">Website</a> </p> </div> ## 💡 Conceptual Knowledge Editing <div align=center> <img src="./flow1.gif" width="70%" height="70%" /> </div> ### Task Definition **Concept** is a generalization of the world in the process of cognition, which represents the shared features and essential characteristics of a class of entities. Therefore, the endeavor of concept editing aims to modify the definition of concepts, thereby altering the behavior of LLMs when processing these concepts. ### Evaluation To analyze conceptual knowledge modification, we adopt the metrics for factual editing (the target is the concept $C$ rather than factual instance $t$). - `Reliability`: the success rate of editing with a given editing description - `Generalization`: the success rate of editing **within** the editing scope - `Locality`: whether the model's output changes after editing for unrelated inputs Concept Specific Evaluation Metrics - `Instance Change`: capturing the intricacies of these instance-level changes - `Concept Consistency`: the semantic similarity of generated concept definition ## 🌟 Usage ### 🎍 Current Implementation As the main Table of our paper, four editing methods are supported for conceptual knowledge editing. | **Method** | GPT-2 | GPT-J | LlaMA2-13B-Chat | Mistral-7B-v0.1 | :--------------: | :--------------: | :--------------: | :--------------: | :--------------: | | FT | ✅ | ✅ | ✅ | ✅ | | ROME | ✅ | ✅ |✅ | ✅ | | MEMIT | ✅ | ✅ | ✅| ✅ | | PROMPT | ✅ | ✅ | ✅ | ✅ | ### 💻 Run You can follow [EasyEdit](https://github.com/zjunlp/EasyEdit/edit/main/examples/ConceptEdit.md) to run the experiments. ## 📖 Citation Please cite our paper if you use **ConceptEdit** in your work. ```bibtex @misc{wang2024editing, title={Editing Conceptual Knowledge for Large Language Models}, author={Xiaohan Wang and Shengyu Mao and Ningyu Zhang and Shumin Deng and Yunzhi Yao and Yue Shen and Lei Liang and Jinjie Gu and Huajun Chen}, year={2024}, eprint={2403.06259}, archivePrefix={arXiv}, primaryClass={cs.CL} } ``` ## 🎉 Acknowledgement We would like to express our sincere gratitude to [DBpedia](https://www.dbpedia.org/resources/ontology/)，[Wikidata](https://www.wikidata.org/wiki/Wikidata:Introduction)，[OntoProbe-PLMs](https://github.com/vickywu1022/OntoProbe-PLMs) and [ROME](https://github.com/kmeng01/rome). Their contributions are invaluable to the advancement of our work.license: cc-by-nc-sa-4.0 --- <div align="center"> **面向大语言模型（Large Language Model）的概念性知识编辑** --- <p align="center"> <a href="#-conceptual-knowledge-editing">概览</a> • <a href="#-usage">使用方法</a> • <a href="#-citation">引用</a> • <a href="https://arxiv.org/abs/2403.06259">论文</a> • <a href="https://zjunlp.github.io/project/ConceptEdit">项目主页</a> </p> </div> ## 💡 概念性知识编辑 <div align=center> <img src="./flow1.gif" width="70%" height="70%" /> </div> ### 任务定义 **概念（Concept）** 是认知过程中对客观世界的抽象概括，代表一类实体所共有的特征与本质属性。因此，概念编辑的目标在于修改概念的定义，从而改变大语言模型处理此类概念时的行为逻辑。 ### 评估 为分析概念性知识的修改效果，我们采用针对事实编辑的评估指标（将编辑目标设定为概念$C$而非事实实例$t$）。 - **可靠性（Reliability）**：基于给定编辑描述完成编辑的成功率 - **泛化性（Generalization）**：编辑范围内的编辑成功率 - **局部性（Locality）**：编辑后模型对无关输入的输出是否发生变化 概念专属评估指标 - **实例变化度（Instance Change）**：捕捉实例层面的变化细节 - **概念一致性（Concept Consistency）**：生成的概念定义的语义相似度 ## 🌟 使用方法 ### 🎍 当前实现 作为论文的核心表格，本项目支持四种概念性知识编辑方法。 | **方法（Method）** | GPT-2 | GPT-J | LlaMA2-13B-Chat | Mistral-7B-v0.1 | :--------------: | :--------------: | :--------------: | :--------------: | :--------------: | | FT | ✅ | ✅ | ✅ | ✅ | | ROME | ✅ | ✅ |✅ | ✅ | | MEMIT | ✅ | ✅ | ✅| ✅ | | PROMPT | ✅ | ✅ | ✅ | ✅ | ### 💻 运行方式 您可以按照[EasyEdit](https://github.com/zjunlp/EasyEdit/edit/main/examples/ConceptEdit.md)中的指引复现实验。 ## 📖 引用 若您在工作中使用**ConceptEdit**，请引用我们的论文。 bibtex @misc{wang2024editing, title={Editing Conceptual Knowledge for Large Language Models}, author={Xiaohan Wang and Shengyu Mao and Ningyu Zhang and Shumin Deng and Yunzhi Yao and Yue Shen and Lei Liang and Jinjie Gu and Huajun Chen}, year={2024}, eprint={2403.06259}, archivePrefix={arXiv}, primaryClass={cs.CL} } ## 🎉 致谢 我们衷心感谢[DBpedia](https://www.dbpedia.org/resources/ontology/)，[Wikidata](https://www.wikidata.org/wiki/Wikidata:Introduction)，[OntoProbe-PLMs](https://github.com/vickywu1022/OntoProbe-PLMs)和[ROME](https://github.com/kmeng01/rome)。 它们的贡献对本研究的推进具有不可估量的价值。

原始信息汇总

💡 Conceptual Knowledge Editing

Task Definition

Concept 是对认知过程中世界的一种概括，代表一类实体的共享特征和本质特征。因此，概念编辑的目的是修改概念的定义，从而改变大型语言模型（LLMs）处理这些概念时的行为。

Evaluation

为了分析概念知识修改，我们采用了针对事实编辑的指标（目标是概念 $C$ 而不是事实实例 $t$）。

• Reliability: 使用给定编辑描述的编辑成功率
• Generalization: 在编辑范围内的编辑成功率
• Locality: 编辑后模型对无关输入的输出是否发生变化

概念特定评估指标

• Instance Change: 捕捉这些实例级变化的复杂性
• Concept Consistency: 生成的概念定义的语义相似性

🌟 Usage

🎍 Current Implementation

作为我们论文的主要表格，支持四种概念知识编辑方法。

Method	GPT-2	GPT-J	LlaMA2-13B-Chat	Mistral-7B-v0.1
FT	✅	✅	✅	✅
ROME	✅	✅	✅	✅
MEMIT	✅	✅	✅	✅
PROMPT	✅	✅	✅	✅

💻 Run

您可以按照 EasyEdit 运行实验。

📖 Citation

如果您在工作中使用 ConceptEdit，请引用我们的论文。

bibtex @misc{wang2024editing, title={Editing Conceptual Knowledge for Large Language Models}, author={Xiaohan Wang and Shengyu Mao and Ningyu Zhang and Shumin Deng and Yunzhi Yao and Yue Shen and Lei Liang and Jinjie Gu and Huajun Chen}, year={2024}, eprint={2403.06259}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在认知科学中，概念是对世界进行概括的认知产物，代表了实体类别共享的特征与本质属性。ConceptEdit数据集正是基于这一理论框架，旨在系统性地编辑大语言模型中的概念知识。该数据集的构建以概念定义为核心，通过修改概念的内涵来改变模型在处理相关概念时的行为表现。构建过程依托于DBpedia、Wikidata等权威知识图谱资源，并借鉴OntoProbe-PLMs的探测方法，精心设计了涵盖概念编辑的输入输出对。数据集不仅包含原始概念定义，还提供了编辑后的目标定义，从而支撑对模型概念知识修改的全面评估。

特点

ConceptEdit数据集具有鲜明的创新性与结构性特点。它首次将知识编辑从事实层面拓展至概念层面，聚焦于修改概念定义而非具体实例，从而实现对模型行为的深层调控。数据集引入了多维评估指标，包括衡量编辑成功率的可靠性、检验编辑范围内泛化能力的泛化性、以及评估无关输入影响的局部性。更为独特的是，它设计了实例变化与概念一致性两个专门指标，前者捕捉实例层面的细微变动，后者评估生成概念定义的语义相似度，为概念编辑效果提供了精细化的度量体系。

使用方法

该数据集的使用流程简洁高效，兼容多种主流大语言模型与编辑方法。用户可基于EasyEdit框架快速开展实验，当前已支持FT、ROME、MEMIT和PROMPT四种编辑方法，并覆盖GPT-2、GPT-J、LLaMA2-13B-Chat和Mistral-7B-v0.1等模型架构。使用时，用户需提供编辑描述与目标概念定义，数据集会自动生成对应的编辑实例。通过运行预设的实验脚本，即可评估编辑后的模型在可靠性、泛化性、局部性及概念一致性等维度上的表现，从而系统检验概念知识编辑的效果与局限性。

背景与挑战

背景概述

概念作为人类认知过程中对世界进行归纳的产物，代表了某类实体共享的特征与本质属性。在大语言模型（LLMs）迅猛发展的背景下，如何精确编辑模型内部的概念知识，以调整其对特定概念的处理行为，成为知识编辑领域的前沿议题。由浙江大学知识工程研究团队（ZJUNLP）于2024年提出的ConceptEdit数据集，由王筱涵、毛晟宇、张宁豫等研究者共同构建，核心研究问题聚焦于实现概念层面而非实例层面的知识修改。该数据集通过引入概念编辑任务，弥补了既有事实编辑基准在抽象语义处理上的不足，为评估LLMs对概念性知识的动态调整能力提供了标准化测试框架，对推动可解释人工智能与知识更新技术的发展具有重要影响力。

当前挑战

ConceptEdit所解决的领域挑战在于，现有知识编辑方法多针对具体事实实例，难以应对概念这类具有泛化性和抽象性的知识结构，编辑后如何确保模型对同一概念下所有实例的一致性行为改变成为核心难题。在数据集构建过程中，挑战尤为突出：首先，概念的定义边界模糊，需要从DBpedia、Wikidata等结构化知识库中精确抽取并验证概念与实例的层级关系；其次，评估指标设计复杂，除传统可靠性、泛化性与局部性外，还需引入实例变化度与概念一致性等新维度，以量化编辑对概念语义的影响；此外，跨模型（如GPT-2、GPT-J、LLaMA等）的编辑效果差异显著，如何保证方法的通用性与鲁棒性亦是重大挑战。

常用场景

经典使用场景

ConceptEdit数据集专为评估和推动大语言模型在概念层面的知识编辑能力而设计。其经典使用场景聚焦于修改模型对抽象概念的定义，例如调整“鸟类”这一概念的内涵，使其不再包含“会飞”这一属性。研究者通过该数据集提供的编辑描述与评估指标，可以系统地测试模型在概念编辑后的可靠性、泛化性及局部性，从而深入理解模型内部知识表征的灵活性与鲁棒性。

解决学术问题

该数据集旨在解决大语言模型中概念知识难以精确修改的学术难题。传统知识编辑方法多聚焦于事实性知识（如修改具体实体属性），而概念作为一类实体的共性抽象，其编辑涉及更复杂的语义泛化与一致性维护。ConceptEdit通过引入实例变化率与概念一致性等专用指标，使得评估模型在概念编辑后能否保持语义连贯性成为可能，为知识编辑研究从事实层面迈向概念层面提供了关键基准。

衍生相关工作

ConceptEdit的提出催生了多项后续研究。基于该数据集，研究者开发了针对概念编辑的专用方法，如采用局部微调与表征传递技术的编辑策略，以及结合本体论约束的语义一致性增强算法。此外，该数据集被整合进EasyEdit等开源工具库，推动了知识编辑领域从事实编辑向概念编辑的扩展，并启发了对模型概念漂移、知识冲突等深层问题的系统性探索。