Text Anonymization Benchmark (TAB)

TAB是一个新的开源注释语料库，包含1,268个英语语言的欧洲人权法院案例，这些案例被丰富地注释了个人信息的语义类别、标识符类型、机密属性和共指关系，旨在超越传统的去识别化，明确标记哪些文本范围应该被屏蔽以隐藏保护对象的身份。

TAB is a novel open-source annotated corpus comprising 1,268 English-language cases from the European Court of Human Rights (ECHR). These cases are richly annotated with semantic categories of personal information, identifier types, confidentiality attributes, and coreference relations, aiming to go beyond traditional de-identification by explicitly marking which text spans should be redacted to conceal the identities of protected individuals.

原始信息汇总

文本匿名化基准数据集（TAB）

概述

文本匿名化基准数据集（TAB）是一个新的开源语料库，包含1,268份英语语言的欧洲人权法院（ECHR）案件，手动标注了以下内容：

• 个人标识符的语义类别
• 关于保护个人重新识别风险的遮蔽决策
• 保密属性
• 共指关系

数据格式

数据以独立JSON格式分发，包含以下信息：

变量名	描述
annotations	包含文档标注的对象，每个标注包含实体提及标注对象
dataset_type	法院案例所属的数据分割（训练/开发/测试）
doc_id	法院案例的ID（例如“001-61807”）
meta	每个案例的元数据（年份、涉及的国家和法律条款等）
quality_checked	文档是否由另一名标注者复核
task	匿名化任务的目标（即需要匿名化的对象）
text	标注过程中使用的法院案例文本

每个实体提及对象在annotations下具有以下属性：

变量名	描述
entity_type	实体的语义类别（例如PERSON）
entity_mention_id	实体提及的ID
start_offset	标注跨度的起始字符偏移
end_offset	标注跨度的结束字符偏移
span_text	标注跨度的文本
edit_type	标注者对提及的操作类型（检查/插入/修正）
identifier_type	遮蔽需求，DIRECT或QUASI需遮蔽，否则为NO_MASK
entity_id	实体提及在意义上相关的实体ID
confidential_status	潜在歧视源的类别（例如信仰、性取向等）

许可

TAB数据集在MIT许可证下发布。

搜集汇总

数据集介绍

构建方式

在文本匿名化领域，现有数据集多局限于临床文本且侧重于去标识化而非真正的匿名化。为弥补这一空白，TAB数据集基于欧洲人权法院的1268份英文判例构建，这些判例包含丰富的个人传记细节且可自由分发。数据集的构建遵循一套精细的五步标注流程：首先由标注者检测所有包含个人信息的文本片段并赋予语义类别；随后判断这些片段是否需要掩蔽以保护指定个体，并区分为直接标识符或准标识符；接着标注是否涉及机密属性；再通过实体链接建立共指关系；最后进行成对质量审查以确保身份充分隐匿。所有标注决策均保留每位标注者的独立选择，而非合并为单一标准答案。

使用方法

TAB数据集为文本匿名化方法的评估与比较提供了标准化基准。使用时，研究人员可将系统输出与数据集中多位标注者的掩蔽决策进行对比，采用论文提出的三组专用指标：直接标识符的实体级召回率、准标识符的实体级召回率，以及基于信息内容加权的令牌级精确率。这些指标分别衡量隐私保护力度与数据效用保留程度，并支持微平均以处理多标注者场景。数据集已划分为训练集、开发集和测试集，支持监督学习模型的训练与评估。完整的语料库、标注指南、评估脚本及基线模型均已在GitHub上开源发布。

背景与挑战

背景概述

文本匿名化是自然语言处理领域中一项至关重要的隐私保护任务，旨在通过编辑文本来防止个人身份信息泄露。然而，现有的评估资源多局限于医疗领域的去标识化，缺乏面向通用文本匿名化的大规模、高质量基准。为此，挪威计算中心、奥斯陆大学及罗维拉-维尔吉利大学的研究人员于2022年共同创建了文本匿名化基准（TAB）。该数据集包含1,268份欧洲人权法院的英文判例，以超过1,800万词符的规模，系统标注了各类个人信息（如语义类别、标识符类型、机密属性和共指关系）。TAB的核心研究问题在于超越传统去标识化，明确标注哪些文本片段需要掩蔽以保护特定个体身份，从而为文本匿名化方法提供更准确的评估框架。该基准的发布填补了隐私保护与自然语言处理交叉领域的关键空白，推动了匿名化技术从医疗领域向法律、社会科学等更广泛场景的迁移。

当前挑战

TAB数据集面临的挑战主要体现在两个方面。首先，所解决的领域问题极具复杂性：文本匿名化需同时应对直接标识符（如全名、身份证号）与准标识符（如年龄、职业、地点），而准标识符的种类理论上无界，且其组合可能通过背景知识实现重识别。传统基于命名实体识别的去标识化方法往往低估隐私风险，因为它们仅关注预定义语义类别，难以覆盖诸如“左翼极端分子”等间接信息。其次，构建过程中挑战重重：数据源自真实法律判例，需在保证文本丰富性的同时避免预先匿名化，这要求标注者具备法律背景与语言能力；标注流程包含实体检测、掩蔽决策、机密属性标注、共指链接及质量审查五个步骤，耗时约22分钟/篇；不同标注者对掩蔽边界的判断存在主观差异，尽管通过预标注（spaCy）与多轮审查（如成对校对）提升了一致性，但准标识符的掩蔽决策仍依赖对“公开知识”的假设，这为评估的客观性引入了不确定性。

常用场景

经典使用场景

在自然语言处理与数据隐私保护的交叉领域中，TAB（文本匿名化基准）数据集主要用于评估和比较不同文本匿名化方法的性能。该数据集包含1,268份来自欧洲人权法院的英文判例，其中详细标注了个人信息的语义类别、标识符类型、机密属性以及共指关系。其经典使用场景是作为标准化的测试平台，衡量匿名化系统在保护隐私的同时保留文本可用性的能力，尤其适用于超越传统去标识化（de-identification）的复杂匿名化任务。

解决学术问题

TAB数据集有效解决了当前文本匿名化研究中缺乏隐私导向标注资源的瓶颈问题。传统方法多局限于基于预定义类别的去标识化，无法应对间接标识符带来的重识别风险。TAB通过明确标注哪些文本片段需要掩码以隐藏受保护个体的身份，推动了从简单实体检测到真正匿名化的范式转变。该数据集的意义在于为学术界提供了一个可复现、可比较的基准，从而更准确地评估隐私保护方法的有效性，并促进更鲁棒的匿名化模型研发。

实际应用

在实际应用中，TAB数据集的核心价值在于帮助法律、医疗和社会科学研究机构安全地共享包含个人信息的文本数据。例如，法律研究机构可利用基于TAB训练的模型自动匿名化判决书，使其符合GDPR等隐私法规的要求，从而在保护当事人隐私的前提下公开发布或用于二次分析。此外，该数据集还支持开发用于电子健康记录、访谈记录等敏感文档的匿名化工具，确保数据在去标识化后仍保留足够的语义信息用于科学分析。

数据集最近研究

最新研究方向

文本匿名化基准（TAB）数据集的最新研究聚焦于推动自然语言处理领域从传统的去标识化向真正的匿名化范式转变。在数据隐私法规日益严苛的背景下，该数据集通过提供来自欧洲人权法院的1268份英文判例，并标注了直接标识符、准标识符及共指关系，为评估匿名化方法对隐私保护与数据效用的权衡提供了标准化平台。前沿方向包括利用预训练语言模型（如Longformer）进行微调以捕捉长文本中的敏感信息，以及设计基于实体级召回率和信息内容加权的效用度量，突破传统NER方法仅关注预定义类别的局限。该工作与GDPR等隐私事件紧密关联，其意义在于为法律、医疗等敏感领域的文本安全共享建立了可复现的评估框架，推动匿名化技术从学术研究向实际合规应用的落地。

相关研究论文

• The Text Anonymization Benchmark (TAB): A Dedicated Corpus and Evaluation Framework for Text Anonymization

  · 2022年