AMBENCH

AMBENCH是一个由看似模棱两可的人名组成的基准数据集，这些名字利用了名字常规性偏差现象，嵌入在简短文本片段中，并伴有良性提示注入。该数据集旨在评估大型语言模型在检测个人身份信息方面的能力，特别是在模糊上下文中。实验表明，现代大型语言模型在识别模棱两可的人名时，召回率比识别更易辨认的名字低20-40%。此外，当良性提示注入存在时，模棱两可的人名在LLM生成的隐私保护摘要中被忽略的可能性是其他名字的四倍。这些发现突显了完全依赖LLM来保护用户隐私的风险，并强调了需要对其隐私失败模式进行更系统的研究。AMBENCH is a benchmark dataset composed of seemingly ambiguous personal names. These names leverage the phenomenon of nominal regularity bias, embedded within short text snippets alongside benign prompt injections. This dataset is designed to evaluate the ability of large language models (LLMs) to detect personally identifiable information (PII), particularly in ambiguous contexts. Experiments demonstrate that modern LLMs have a 20-40% lower recall rate when identifying ambiguous personal names compared to more readily distinguishable ones. Additionally, when benign prompt injections are present, ambiguous personal names are four times more likely to be omitted from privacy-preserving summaries generated by LLMs than other names. These findings highlight the risks of fully relying on LLMs for protecting user privacy, and underscore the need for more systematic research into their privacy failure modes.

原始信息汇总

数据集概述

基本信息

• 数据集名称: Can Large Language Models Really Recognize Your Name?
• 数据集地址: https://github.com/dzungvpham/llm-name-detection
• 论文地址: https://arxiv.org/abs/2505.14549

数据集状态

• 当前状态: 代码和数据即将添加（Code and data will be added soon!）

相关研究

• 研究主题: 大型语言模型是否能真正识别姓名

搜集汇总

数据集介绍

构建方式

AMBENCH数据集的构建过程分为两个关键步骤：首先，通过筛选公开可用的姓名数据库（如Paranames和Ancestry），识别出与地理位置、组织名称等非人类实体高度相似的真实人名，确保这些名称在编辑距离上仅相差一个字符。其次，利用GPT-4o生成包含[MASK]占位符的短文本模板，并通过多轮验证确保模板在填充人名或非人实体时均保持语义合理性。最终，将筛选出的12,000个模糊名称与25个经过人工精选的模板组合，形成约60,000个测试样本。

特点

AMBENCH的核心特征在于其系统性设计的模糊性挑战：数据集中的名称同时具备人类姓名和非人实体的语言学特征（如矿物后缀“-ite”或地理名称变体），且文本模板通过链式推理生成，确保上下文对两类实体均具有解释空间。实验表明，现代LLMs在此类样本上的召回率较常规姓名下降20%-40%，尤其在良性提示注入（BPI）场景下，隐私保护摘要中模糊名称的泄露概率增加至基准值的4倍。

使用方法

该数据集主要用于评估LLMs在隐私保护任务中的敏感信息识别能力。研究者可通过标准化的PII检测提示（如Rescriber系统模板）测试模型对模糊名称的分类准确性，或模拟Clio等摘要系统的隐私审计流程。使用时应控制温度参数为0以降低变异性，并配套人工标注基准以区分模型错误与真实模糊性。对于工业级应用，建议结合传统NER工具（如Flair）以弥补LLMs的漏检缺陷。

背景与挑战

背景概述

AMBENCH数据集由麻省大学阿默斯特分校、谷歌研究院、华盛顿大学和马里兰大学的研究团队于2025年创建，旨在评估大型语言模型（LLMs）在识别模糊人名方面的能力。该数据集聚焦于隐私保护领域，揭示了LLMs在检测个人可识别信息（PII）时的系统性缺陷，特别是在处理看似模糊的人名时。AMBENCH通过利用名称规律性偏见（NRB）和良性提示注入（BPI）现象，构建了包含12,000个模糊人名的基准数据集，为研究LLMs在隐私保护任务中的可靠性提供了重要工具。

当前挑战

AMBENCH数据集面临的挑战主要包括两个方面：1）领域问题的挑战：LLMs在识别模糊人名时表现不佳，召回率下降20-40%，且容易将人名误分类为非人类实体，如地点或矿物，这直接影响了隐私保护系统的有效性。2）构建过程的挑战：数据集需要精确识别与人类名称相似的非人类实体名称，并通过多阶段验证确保文本模板的模糊性，同时避免引入偏见或错误，这一过程需要复杂的自然语言处理技术和人工验证。

常用场景

经典使用场景

AMBENCH数据集在评估大型语言模型（LLMs）识别模糊人名方面的能力方面具有经典应用场景。该数据集通过构建看似模糊的人名和简洁的文本片段，结合良性提示注入，系统性地测试了LLMs在隐私保护任务中的表现。特别是在PII（个人身份信息）检测和抽象摘要生成等任务中，AMBENCH揭示了LLMs在识别模糊人名时的系统性失败，为相关研究提供了重要基准。

衍生相关工作

AMBENCH数据集衍生了一系列相关经典工作，主要集中在LLMs的隐私保护应用和失败模式分析。例如，基于AMBENCH的研究提出了针对LLMs的隐私保护增强方法（如Rescriber系统），并推动了上下文完整性（CI）理论在隐私保护中的实际应用。此外，AMBENCH还启发了对LLMs在模糊语境中行为的新研究，如Name Regularity Bias（NRB）和Benign Prompt Injection（BPI）现象的深入分析。

数据集最近研究

最新研究方向

在隐私保护领域，AMBENCH数据集的提出为评估大型语言模型（LLMs）在识别模糊人名方面的系统性缺陷提供了重要工具。该数据集通过构建看似模糊的人名及其上下文，揭示了LLMs在识别个人可识别信息（PII）时的显著漏洞，特别是在存在名称规律性偏差（NRB）和良性提示注入（BPI）的情况下。研究表明，现代LLMs在处理模糊人名时的召回率下降了20-40%，且在隐私保护摘要中忽略模糊人名的概率增加了四倍。这些发现不仅挑战了当前LLM在隐私保护应用中的可靠性假设，还强调了在构建基于LLM的隐私解决方案时，必须系统性地研究其失败模式。AMBENCH的推出为未来研究提供了基准，促进了更安全、更可靠的隐私保护技术的发展。

相关研究论文

• Can Large Language Models Really Recognize Your Name?

  Google Research · 2025年