WikiMem

WikiMem数据集是一个大规模的开放数据集，包含超过5,000个自然语言“canaries”，涵盖了来自Wikidata的243个人相关属性。这些canaries用于量化大型语言模型（LLMs）中个人-事实关联的强度，通过校准的负对数似然度在反事实情境下进行排名。数据集创建过程涉及从Wikidata中提取人类实体的属性，并构建包含HUMAN_SUBJECT和PROTECTED_VALUE占位符的自然语言模板。该数据集旨在解决LLMs中个人数据的遗忘问题，为机器遗忘和遗忘权请求提供支持。

The WikiMem dataset is a large-scale open dataset containing over 5,000 natural language "canaries", covering 243 person-related attributes sourced from Wikidata. These canaries are utilized to quantify the strength of person-fact associations in Large Language Models (LLMs), with ranking conducted via calibrated negative log-likelihood in counterfactual scenarios. The dataset creation process involves extracting attributes of human entities from Wikidata and building natural language templates with HUMAN_SUBJECT and PROTECTED_VALUE placeholders. This dataset aims to address the personal data forgetting problem in LLMs, providing support for machine forgetting and the right to be forgotten requests.

原始信息汇总

数据集概述：What Should LLMs Forget? Quantifying Personal Data in LLMs for Right-to-Be-Forgotten Requests

基本信息

• 标题: What Should LLMs Forget? Quantifying Personal Data in LLMs for Right-to-Be-Forgotten Requests
• 作者: Dimitri Staufer
• 提交日期: 2025年7月15日
• arXiv标识符: arXiv:2507.11128v1 [cs.CL]
• DOI: 10.48550/arXiv.2507.11128
• 分类:
  • 计算机科学 > 计算与语言 (cs.CL)
  • 计算机科学 > 计算机与社会 (cs.CY)
  • 计算机科学 > 机器学习 (cs.LG)
• ACM分类: I.2.6; H.2.8

摘要

大型语言模型（LLMs）能够记忆并泄露个人信息，引发了对欧盟《通用数据保护条例》（GDPR）中“被遗忘权”（RTBF）合规性的担忧。现有机器遗忘方法假设待遗忘数据已知，但未解决如何识别模型中存储的个体-事实关联。隐私审计技术通常在群体层面操作或针对少量标识符，限制了其在个体层面数据查询中的应用。本文介绍了WikiMem数据集，包含超过5,000条自然语言测试数据，涵盖来自Wikidata的243个人类相关属性，并提出了一种模型无关的度量方法，用于量化LLMs中的人类-事实关联。该方法通过校准的负对数似然对真实值与反事实进行排名。评估了15个LLMs（参数范围410M-70B）中200个个体的数据，显示记忆程度与主题网络存在和模型规模相关。为个体层面识别LLMs中记忆的个人数据提供了基础，支持动态构建遗忘集以应对机器遗忘和RTBF请求。

数据集详情

• 数据集名称: WikiMem
• 数据量: 超过5,000条自然语言测试数据
• 覆盖属性: 243个人类相关属性（来自Wikidata）
• 评估对象: 200个个体在15个LLMs中的表现（参数范围410M-70B）

相关会议

• 会议名称: 第7届可解释知识发现与数据挖掘研讨会（XKDD 2025）
• 会议地点: ECML PKDD 2025, 葡萄牙波尔图
• 论文页数: 16页
• 图表数量: 3张

相关链接

• PDF链接: https://arxiv.org/pdf/2507.11128v1
• HTML链接: https://arxiv.org/html/2507.11128v1
• TeX源码: https://arxiv.org/format/2507.11128v1

搜集汇总

数据集介绍

构建方式

WikiMem数据集基于Wikidata知识库构建，专注于人类相关属性的自然语言表达。研究团队从超过13亿个实体中筛选出243个人类相关属性，包括职业、出生地、国籍等，确保每个属性至少与100个不同人类实体关联。通过两阶段处理流程，首先提取人类-属性-值三元组，随后为每个属性生成100个反事实值样本。数据集最终包含5650条自然语言模板，涵盖基础陈述句、释义变体和上下文增强三种类型，通过FLAN-T5模型进行语义相似性排序以确保语言多样性。

特点

WikiMem的核心特点在于其针对大语言模型个人数据记忆问题的专项设计。数据集覆盖243种人类属性，包含5000余条自然语言探针，每个事实关联配备100个反事实样本，形成严格的基准评估体系。独特的校准负对数似然评分机制能够量化主体-事实关联强度，支持模型无关的隐私泄露评估。数据构造特别关注网络知名度差异，包含高低网络曝光度的主体各100名，为研究记忆与网络存在相关性提供实证基础。多模板设计（基础+10个释义变体）有效控制了提示词表述差异对评估结果的干扰。

使用方法

使用WikiMem需遵循三阶段流程：首先通过校准NLL评分计算主体-事实关联强度，将特定提示词下真实值的负对数似然与反事实样本对比。其次采用排序机制判定记忆现象，当真实值在100个候选值中排名首位时视为记忆发生。最终通过标准化处理计算记忆强度指标z*值，反映模型对特定事实的置信度偏离程度。评估时需对每个主体-属性组合的11种模板变体进行全量测试，严格判定仅当所有变体均显示记忆时才确认关联存在。该框架支持从410M到70B参数规模的语言模型评估，兼容白盒和黑盒测试场景。

背景与挑战

背景概述

WikiMem数据集由柏林工业大学的Dimitri Staufer等人于2025年提出，旨在解决大型语言模型（LLMs）中个人数据记忆与遗忘权（RTBF）的量化问题。该数据集包含从Wikidata提取的243种人类相关属性的5000余条自然语言'金丝雀'样本，为评估LLMs中个体-事实关联强度提供了标准化工具。其创新性在于建立了模型无关的度量方法，通过校准负对数似然排名来量化记忆强度，填补了GDPR框架下LLMs隐私审计的技术空白，对机器学习遗忘算法的发展具有奠基意义。

当前挑战

WikiMem面临的核心挑战包括两方面：领域问题上，需解决LLMs隐式记忆导致的个人数据定位难题，传统隐私审计方法仅适用于群体层面或有限标识符，难以满足GDPR对个体数据查询的要求；构建过程中，需克服自然语言模板的语义一致性挑战，包括处理Wikidata标签与自然语言表达的差异、生成具有统计显著性的反事实样本，以及设计能准确反映跨模型记忆强度的标准化度量指标。这些挑战使得个体级记忆检测成为LLMs隐私保护的关键瓶颈。

常用场景

经典使用场景

WikiMem数据集在大型语言模型（LLM）隐私审计和机器遗忘研究中具有重要应用。该数据集通过自然语言模板和反事实样本，量化了LLM中个体与事实之间的关联强度，为评估模型对个人数据的记忆程度提供了标准化工具。研究人员利用WikiMem可以系统地检测模型是否记忆了特定个体的敏感信息，如职业、出生地等，从而支持GDPR中“被遗忘权”的技术实现。

实际应用

在实际应用中，WikiMem为LLM提供商和监管机构提供了可操作的隐私评估框架。企业可通过该数据集检测模型中的个人数据记忆风险，并针对性地实施遗忘操作以满足GDPR要求。同时，监管机构能借助这一工具验证LLM是否符合数据保护法规，特别是在处理用户“被遗忘权”请求时，提供客观的技术评估标准。

衍生相关工作

围绕WikiMem衍生的经典工作主要包括三个方面：一是基于其度量方法开发的机器遗忘算法改进，如梯度更新和知识蒸馏技术；二是针对LLM的隐私攻击研究，如成员推理和属性推断攻击的增强方法；三是实体级别的记忆分析框架，如RWKU基准和ProPILE系统，这些工作进一步扩展了个体级隐私审计的维度和精度。