EDITSET

EDITSET是一个包含知识元素重叠（KEO）三元组的数据集，用于评估知识编辑方法的性能。该数据集由Wikidata中的知识三元组组成，包含超过700种关系类型，其中聚焦于最常用的31种。数据集设计用于支持知识集编辑（KSE）的探索，每个样本包含一个主题、一个关系和多个对象，旨在解决当前知识编辑方法在处理KEO时的不足。

EDITSET is a dataset containing knowledge element overlap (KEO) triples for evaluating the performance of knowledge editing methods. The dataset consists of knowledge triples sourced from Wikidata, which includes over 700 relationship types with a focus on the 31 most frequently used ones. Designed to support the exploration of knowledge set editing (KSE), each sample in the dataset contains a subject, a relation and multiple objects, aiming to address the shortcomings of current knowledge editing methods when handling KEO scenarios.

搜集汇总

数据集介绍

构建方式

EDITSET数据集的构建基于对知识元素重叠（KEO）现象的深入研究，通过从Wikidata知识库中提取具有共同关系属性的主题-对象对，确保每个知识三元组（s, r, O）中的主题和关系唯一，而对应多个对象。随后，利用GPT-4生成评估提示，包括反事实提示、转述提示和邻近提示，以全面评估知识编辑的效果。数据集的构建过程注重覆盖710种关系，并特别关注31种常用关系，以确保其在知识编辑领域的广泛适用性。

特点

EDITSET数据集的核心特点在于其专注于知识元素重叠（KEO）场景，通过精心设计的数据结构，每个知识三元组（s, r, O）中的对象O为多值集合，模拟了现实世界中知识的多重关联性。数据集包含丰富的提示类型，如反事实提示、转述提示和邻近提示，能够全面评估知识编辑的效能、泛化性和局部性。此外，EDITSET涵盖了710种关系，并特别关注31种高频关系，为知识编辑研究提供了多样化的测试环境。

使用方法

EDITSET数据集的使用方法主要围绕知识编辑任务展开，用户可以通过加载数据集中的知识三元组和对应提示，评估不同知识编辑方法在KEO场景下的表现。具体而言，反事实提示用于评估编辑效能（Efficacy），转述提示用于测试泛化能力（Generalization），而邻近提示则用于检验局部性（Locality）。用户可以根据实验需求选择特定关系或对象数量的子集，结合主流语言模型（如GPT2-Large、GPT2-XL等）进行知识编辑实验，并通过综合评分（Editing Score）量化编辑效果。

背景与挑战

背景概述

EDITSET数据集由北京航空航天大学、北京理工大学和昆明理工大学的研究团队于2025年提出，旨在解决大语言模型(LLMs)知识编辑中的知识元素重叠(KEO)问题。该数据集基于Wikidata构建，包含710种关系类型，重点关注31种常见关系，涉及40,904个知识实例。作为首个专门针对KEO现象设计的基准数据集，EDITSET通过系统化组织共享主体-关系的多对象三元组，为知识集编辑(KSE)研究提供了标准化评估环境，推动了知识编辑领域从单事实修改向复杂知识集协同更新的范式转变。

当前挑战

EDITSET面临的核心挑战体现在两个维度：在领域问题层面，传统知识编辑方法难以处理共享主体-关系的多对象情形，导致编辑冲突和知识覆盖问题，如在修改'罗马帝国所在大陆'时可能错误覆盖多个正确事实；在构建过程中，需解决知识元素重叠的自动识别、多对象关系的语义一致性维护，以及对抗GPT-4生成评估提示时的语义漂移问题。实验表明，现有方法在KEO场景下的编辑效能(ES)平均下降37.6%，突显了开发新型集合编辑算法的紧迫性。

常用场景

经典使用场景

EDITSET数据集在知识编辑（Knowledge Editing, KE）领域中被广泛用于评估和优化大型语言模型（LLMs）在处理知识元素重叠（Knowledge Element Overlap, KEO）时的表现。该数据集通过提供包含多个共享相同主语和关系的知识三元组，帮助研究者测试模型在复杂知识结构中的编辑能力。

解决学术问题

EDITSET解决了当前知识编辑方法在处理知识元素重叠时的性能下降问题。传统方法如微调和增量学习在面对KEO时容易导致知识覆盖和性能退化。EDITSET通过提供专门设计的KEO样本，为研究者提供了一个系统性的评估平台，推动了知识集编辑（Knowledge Set Editing, KSE）这一新研究方向的发展。

衍生相关工作

EDITSET的推出催生了一系列相关研究，如SetKE（Set Knowledge Editor）等新型知识编辑方法。这些方法利用二分图匹配等技术优化知识编辑过程，显著提升了模型在KEO场景下的性能。此外，EDITSET还被用于评估其他知识编辑框架的泛化能力和局部性表现。