WaterDrum-Ax

WaterDrum-Ax数据集是针对大型语言模型（LLM）遗忘算法进行评估的基准数据集。该数据集包含来自多个数据源的数据，并具有不同程度的相似性。数据集的创建旨在帮助研究人员开发更有效和实用的遗忘算法。该数据集可以通过HuggingFace访问。

The WaterDrum-Ax dataset is a benchmark dataset for evaluating forgetting algorithms in Large Language Models (LLMs). It contains data from multiple sources and exhibits varying degrees of similarity. The dataset was developed to assist researchers in developing more effective and practical forgetting algorithms, and is accessible via HuggingFace.

搜集汇总

数据集介绍

构建方式

WaterDrum-Ax数据集的构建基于arXiv论文摘要，涵盖了20个最受欢迎的学术主题类别，每个类别包含400篇摘要，总计8000个数据点。数据集的构建过程中，特别考虑了数据相似性的多样性，包括精确重复和语义相似的摘要，以支持对模型遗忘效果的全面评估。数据所有者通过独特的私有水印密钥对其数据进行标记，确保数据的可追溯性和验证性。

特点

WaterDrum-Ax数据集的主要特点在于其多样化的数据相似性设置，包括精确重复和语义相似的摘要，这为评估模型遗忘算法的鲁棒性提供了丰富的情境。此外，数据集中的每个数据点都通过水印技术进行了标记，使得数据所有者能够验证其数据是否被模型遗忘。数据集的规模较大，平均摘要长度为260个标记，远超同类数据集，为研究提供了更丰富的信息。

使用方法

WaterDrum-Ax数据集的使用方法包括评估模型遗忘算法的效果和验证遗忘指标的有效性。研究人员可以通过该数据集测试不同遗忘算法在多种数据相似性条件下的表现，并使用水印技术验证数据是否被成功遗忘。数据集还可用于开发新的遗忘指标和算法，特别是在处理多数据所有者请求和相似数据情境下的遗忘问题。

背景与挑战

背景概述

WaterDrum-Ax数据集由新加坡国立大学和A*STAR前沿人工智能研究中心的研究团队于2025年提出，旨在解决大语言模型（LLM）中数据遗忘评估的关键问题。该数据集包含来自20个不同学术领域的arXiv论文摘要，共计8000条数据，每条数据平均包含260个标记。其核心创新在于引入了具有不同语义相似度的重复数据，以模拟现实场景中遗忘集与保留集存在内容重叠的情况。该数据集作为首个支持多数据方、可控相似度配置的LLM遗忘基准，为开发数据中心的遗忘度量标准WaterDrum提供了验证基础，推动了机器学习遗忘领域从模型效用评估向数据溯源验证的范式转变。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，传统基于模型效用的遗忘度量难以区分语义相似的遗忘集与保留集内容，且无法规避模型所有者通过非遗忘手段操纵评估指标的行为；在构建技术层面，需解决多数据方水印嵌入的兼容性问题，确保水印信号在LLM训练后的可检测性，同时维持文本语义保真度。具体表现为：1) 当遗忘集与保留集存在高度相似内容时，现有ROUGE-L等指标AUROC值降至0.5以下；2) 构建过程中需平衡水印强度与文本自然度的矛盾，控制不同相似度等级（精确重复、语义重复）的数据比例以支持鲁棒性验证。

常用场景

经典使用场景

WaterDrum-Ax数据集在大型语言模型（LLM）的遗忘研究中扮演了关键角色，特别是在评估遗忘算法的有效性时。该数据集通过包含多个学术领域的arXiv论文摘要，模拟了现实世界中数据所有者可能请求删除其数据的情景。其经典使用场景包括评估遗忘算法在保留集和遗忘集语义相似时的表现，以及验证数据所有者独立请求删除数据时的遗忘效果。

衍生相关工作

WaterDrum-Ax数据集催生了一系列重要研究工作。基于该数据集，研究者提出了首个基于水印的数据中心化遗忘度量框架WaterDrum，这引领了LLM遗忘评估的新方向。后续工作如Lynch等人(2024)的对抗性评估指标、Wang等人(2025)的遗忘算法比较框架，都借鉴了该数据集的多所有者设置。此外，该数据集的设计理念还启发了WMDP等专项基准数据集的构建，推动了遗忘研究向更细粒度的知识编辑方向发展。

数据集最近研究

最新研究方向

近年来，随着大语言模型（LLMs）在实际应用中的广泛部署，数据隐私、知识产权保护以及有害内容移除等问题日益凸显。WaterDrum-Ax数据集作为首个专注于数据中心化遗忘度量的基准数据集，通过引入文本水印技术，为解决上述问题提供了创新性方案。该数据集不仅涵盖了多领域学术论文摘要，还通过控制数据相似度，为评估遗忘算法的鲁棒性提供了标准化测试环境。其核心贡献在于突破了传统基于模型效用的遗忘度量局限，能够在语义相似数据共存、模型重训练不可行等现实场景下，精准量化数据遗忘程度。当前研究热点聚焦于三个方面：一是探索水印强度与模型遗忘效率的关联机制，二是开发基于WaterDrum-Ax的多方协作遗忘验证框架，三是将该数据集应用于评估差分隐私、联邦学习等前沿隐私保护技术与遗忘算法的协同效应。该数据集的发布推动了可验证机器学习遗忘标准的确立，对构建符合GDPR‘被遗忘权’要求的可信AI系统具有里程碑意义。

相关研究论文

• WaterDrum: Watermarking for Data-centric Unlearning Metric

  新加坡国立大学计算机科学系 · 2025年