PRMU

Name: PRMU
Creator: 南京大学; 帝国理工学院
Published: 2026-08-12T01:09:28+08:00

arXiv2026-08-12 更新2026-08-13 收录

人物知识遗忘

大模型评估

数据链接：

https://github.com/2231122/PRMU 数据链接链接失效反馈

官方服务：

资源简介：

PRMU是一个面向多模态大语言模型的人物中心知识遗忘基准，由南京大学和帝国理工学院联合创建，旨在评估在无原始训练语料场景下模型能否有效移除特定人物知识。数据集包含1080个目标人物，以及50649条文本探针和41303条视觉探针，数据来源于Pantheon名人排名、Wikidata和Wikipedia等公开来源。通过构建人物档案、利用GPT-5.4生成多样探针，并采用Native Knowledge Score过滤确保知识自然习得，同时提供目标专属代理语料支持无语料遗忘。PRMU为解决现实中的隐私删除需求提供评估基准，涵盖遗忘效果、局部性保持和模型通用能力等多维度指标。

PRMU is a person-centric knowledge forgetting benchmark tailored for multimodal large language models, jointly developed by Nanjing University and Imperial College London. It aims to evaluate whether a model can effectively remove specific person-related knowledge without access to its original training corpus. The dataset includes 1080 target individuals, alongside 50,649 textual probes and 41,303 visual probes, sourced from public resources including Pantheon, Wikidata, and Wikipedia. We construct person profiles, generate diverse probes using GPT-5.4, and apply the Native Knowledge Score filtering to ensure the natural acquisition of knowledge, while also providing target-exclusive proxy corpora to support corpus-free forgetting. PRMU serves as an evaluation benchmark for addressing real-world privacy deletion requirements, covering multi-dimensional metrics including forgetting effectiveness, locality preservation, and general model capabilities.

提供机构：

南京大学; 帝国理工学院

创建时间：

2026-08-12

原始信息汇总

PRMU 数据集概述

数据集简介

PRMU 是一个用于多模态大语言模型中以人为中心的知识遗忘（Person-Centric Knowledge Unlearning）的基准数据集，其特点在于无需语料库（Corpus-Free）。

核心用途

该数据集主要用于评估和测试多模态大语言模型在“知识遗忘”场景下的性能表现，特别是针对与特定个人相关的知识内容，为模型的安全性和隐私保护研究提供标准化的评测基准。

开源状态

当前（基于现有信息）该数据集的代码尚未完全公开，项目计划在尽快（as soon as possible）开源相关代码。

附加说明

数据集配有示意图（Fig/PRMU.png），用于直观展示数据集的结构或设计理念。
项目主页：https://github.com/2231122/PRMU

搜集汇总

数据集介绍

构建方式

PRMU数据集以公开人物为代理目标，基于Pantheon排名筛选出覆盖20个职业类别和74个国籍的多样化候选池，并通过HPI分层确保流行度均衡。针对每位目标，从Wikidata和Wikipedia构建结构化事实档案，利用GPT-5.4生成多样化的文本探针（包括完形填空、开放问答、多项选择和14种对抗攻击样式），并扩展出图像条件下的视觉探针。通过引入Native Knowledge Score（NKS）过滤机制，以Qwen2.5-VL-32B为参考模型筛选出模型天然掌握的知识，确保探针反映真实预训练知识而非人为注入。最终保留1,080个目标、50,649个文本探针和41,303个视觉探针，并为每个目标提供由原模型生成的代理语料库，以适应无原始语料的场景。

特点

PRMU的独特性体现在其无语料库评估协议上，仅需原模型和目标规格（名称与参考图像）即可进行知识删除，打破了传统方法对遗忘与保留语料的依赖。它通过多维度邻居集（包括职业、国籍、出生年份、流行度和视觉相似性）精细评估局部性保持，揭示了非目标个体受到的连带影响。基准包含文本与视觉双模态探针，并设计了对抗攻击评估，能有效检测多模态关联引起的知识残留。此外，目标采样的均衡性覆盖了不同流行度、职业和国籍，保证了评估的全面性。相比现有基准，PRMU在规模、模态覆盖和协议现实性上均有显著提升。

使用方法

PRMU适配多种主流多模态大模型（如LLaVA-1.5-7B、Qwen2.5-VL-7B、Qwen3-VL-8B），支持单目标和批量目标删除场景。使用者可通过提供的代理语料库将现有遗忘方法（如梯度上升、负偏好优化等）应用于无原始语料的场景，并利用基准的三重划分（遗忘集、邻居集、其他集）从健忘性、局部性和通用能力三个维度评估模型。评估指标包括ROUGE-L和准确率，同时结合MMBench测试通用多模态效用。基准还提供了SGPE基线，一种基于相似度门控投影编辑的轻量级方法，为无语料库遗忘研究提供参照。所有数据和代码已在GitHub公开，便于研究者复现和扩展。

背景与挑战

背景概述

PRMU（Person-centric Corpus-Free Multimodal Unlearning Benchmark）是由南京大学与帝国理工学院的研究团队于2026年构建的多模态大语言模型（MLLMs）知识遗忘基准。随着MLLMs在存储和回忆人物相关知识方面展现出强大能力，隐私泄露和模型可控性问题日益突出，促使机器遗忘（Machine Unlearning）成为研究热点。然而，现有遗忘方法多依赖原始遗忘语料和保留语料，这在现实删除场景中往往不可得。PRMU以Pantheon排名中的1080位公众人物为目标，利用Wikidata和Wikipedia构建事实档案，并通过GPT-5.4生成多样化的文本与视觉探针（共91,952个），引入原生知识评分（NKS）过滤，确保聚焦于模型自然习得的知识。该基准首创免语料（corpus-free）遗忘协议，提供目标特定代理语料及多维邻居集评估，填补了现实场景下多模态遗忘评估的空白，对MLLMs隐私保护和可控性研究具有重要推动作用。

当前挑战

PRMU面临的挑战主要涵盖两大层面。领域层面，多模态遗忘需同时处理文本与视觉表征，目标知识可能通过跨模态线索被重新激活，且删除目标时易对语义相关的邻居个体造成连带损伤，导致遗忘与局部性保持之间难以平衡；现有方法在激进遗忘设置下常出现局部性显著退化，且批量删除规模增大时，跨目标干扰加剧遗忘难度。构建层面，PRMU需在无原始训练语料的实际条件下构建可复现基准，通过NKS过滤确保目标知识为模型自然习得而非人工注入，同时保证目标采样的多样性（20个职业、74个国家），并设计14种对抗攻击风格与多维度邻居关系评估，以全面衡量遗忘效果、局部性保持及通用多模态能力，技术复杂度和数据质量控制要求极高。

常用场景

经典使用场景

PRMU作为首个面向多模态大语言模型（MLLMs）的以人为中心的无语料知识遗忘基准，其核心使用场景在于评估模型在现实删除请求下，能否在不访问原始训练语料的情况下，移除特定个人的相关知识。该基准通过精心构建的文本与视觉探针，涵盖事实问答、多项选择、完形填空及对抗性攻击等多样化形式，并引入邻居集以精细评估知识保留的局部性。研究者可借此基准统一衡量不同遗忘方法在目标遗忘效果、邻近知识保留及多模态鲁棒性之间的权衡，为多模态机器遗忘研究提供标准化的测试平台。

衍生相关工作

PRMU的提出催生了一系列后续研究方向。首先，其无语料遗忘设置激励了更多无需原始数据的遗忘算法设计，如基于参数编辑、表示控制或模型自生成代理数据的创新方法，SGPE便是其中的代表性基线。其次，PRMU的邻居集构造方法启发了对遗忘局部性更深入的研究，包括如何度量与减轻对语义相关个体的附带影响。此外，PRMU中对抗性探针的设计促进了对抗性鲁棒性评估的研究，推动了更强大的知识抑制与防遗忘技术发展。最后，该基准在多种MLLMs上的系统性评估，为跨模型、跨规模的遗忘性能对比提供了宝贵资源，为构建更通用、更鲁棒的多模态遗忘框架奠定了基础。

数据集最近研究