HANKER生成的审计数据集

HANKER生成的审计数据集是一种基于知识图谱的全面评估大型语言模型（LLM）知识遗忘效果的数据集。该数据集由西安交通大学、马萨诸塞大学阿默斯特和新加坡管理大学的研究人员创建，通过利用知识图谱进行细粒度的覆盖和消除冗余知识，旨在确保审计的充分性和准确性。数据集的创建过程包括知识图谱构建、冗余消除和问题合成三个阶段。该数据集的应用领域是评估LLM的遗忘学习效果，解决知识遗忘过程中的充分性和冗余性问题。

The HANKER-generated audit dataset is a knowledge graph-based comprehensive dataset designed to evaluate the knowledge forgetting effect of large language models (LLMs). This dataset was developed by researchers from Xi'an Jiaotong University, University of Massachusetts Amherst, and Singapore Management University. By leveraging knowledge graphs to achieve fine-grained coverage and eliminate redundant knowledge, it aims to ensure the adequacy and accuracy of the audit. The dataset construction process includes three stages: knowledge graph construction, redundancy elimination, and question synthesis. The application scenario of this dataset is to evaluate the forgetting learning effect of LLMs and address the issues of adequacy and redundancy in the knowledge forgetting process.

搜集汇总

数据集介绍

构建方式

HANKER数据集的构建主要分为三个阶段：知识图谱构建、冗余消除和问题合成。首先，将忘记和保留语料库转换为结构化的知识图谱，这有助于精确地捕捉知识单元及其语义关联。接着，通过识别和消除忘记数据集中与保留数据集重叠的知识，确保审计的准确性。最后，利用知识图谱中的具体事实，指导LLM生成高质量的、有针对性的测试问题，从而实现全面和准确的审计。

特点

HANKER数据集的主要特点是：1）全面性：通过知识图谱，HANKER能够实现细粒度的测试覆盖，确保审计的全面性；2）准确性：通过冗余消除，HANKER能够确保审计的准确性，避免将保留知识错误地标记为删除候选；3）高效性：HANKER能够自动提取知识图谱并生成大规模审计套件，提高了审计效率。

使用方法

使用HANKER数据集的方法如下：1）准备忘记和保留语料库；2）使用HANKER框架构建知识图谱；3）进行冗余消除；4）利用知识图谱生成测试问题；5）对LLM进行审计，评估其知识遗忘效果。

背景与挑战

背景概述

在机器学习领域，大型语言模型（LLMs）的快速发展带来了前所未有的能力，但也引发了关于数据隐私、版权保护和模型偏见等方面的担忧。为了解决这些问题，研究人员提出了机器遗忘技术，旨在从预训练的LLMs中删除特定信息，同时保留其语言建模能力。然而，评估遗忘技术的有效性是一个挑战，现有的基准数据集在规模和全面性方面存在局限性。HANKER数据集的创建旨在为LLMs的遗忘提供全面的审计数据集，通过知识图谱遍历和冗余消除来确保审计的充分性和准确性。该数据集由江伟鹏等人于2025年提出，由西安交通大学、马萨诸塞大学安姆斯特分校和新加坡管理大学的研究人员共同开发，旨在解决现有基准数据集在遗忘评估中的不足。

当前挑战

HANKER数据集面临着两个关键的挑战。首先，如何确保审计的充分性，即生成的测试案例是否能够全面覆盖遗忘数据集中的所有关键信息。其次，如何处理遗忘数据集和保留数据集之间的知识冗余问题。现有的评估方法往往忽略了这一点，导致评估结果不准确。为了应对这些挑战，HANKER数据集采用了知识图谱技术，将遗忘和保留数据集转换为结构化的知识图谱，并通过消除知识冗余来确保审计的准确性。实验结果表明，HANKER数据集能够显著扩大审计数据集的规模，并揭示出LLMs遗忘过程中未被发现的数千个知识记忆案例。此外，HANKER数据集还揭示了知识冗余对遗忘评估的影响，表明冗余知识会显著扭曲遗忘效果指标，导致评估结果不准确。因此，HANKER数据集对于LLMs遗忘技术的评估具有重要的意义。

常用场景

经典使用场景

HANKER生成的审计数据集主要用于评估大型语言模型（LLM）的遗忘效果。通过构建知识图谱并消除冗余知识，HANKER能够生成大规模、全面的审计数据集，帮助研究者评估LLM在遗忘特定知识时的表现。HANKER特别适用于那些需要保护隐私、遵守版权法规或满足数据保护法规（如欧盟的通用数据保护条例GDPR）的场景，其中LLM必须删除敏感信息而保留其他知识。

解决学术问题

HANKER生成的审计数据集解决了现有基准数据集规模和全面性有限的问题。它通过知识图谱的细粒度覆盖和冗余知识消除，显著提高了审计的充分性。此外，HANKER揭示了知识冗余对遗忘效果评估的重大影响，表明冗余实例会人为地夸大观察到的记忆度量，如ROUGE和蕴涵分数，从而突显了系统性去重对于准确评估的重要性。

衍生相关工作

HANKER生成的审计数据集衍生了许多相关的经典工作，包括使用知识图谱进行LLM遗忘效果的评估、开发新的遗忘技术和改进现有的遗忘基准数据集。这些相关工作进一步推动了LLM遗忘技术的发展，并为LLM在隐私保护、版权合规和遵守数据保护法规等方面的应用提供了更可靠的评估工具。