ai4privacy/pii-masking-mini-10k

PII Masking Mini: Multilingual Sample 是一个多语言小规模样本数据集，属于PII-Masking-3M系列。它是pii-masking-openpii-1.5m数据集的stratified样本，通过按(source_dataset, language)比例采样确保每个语言和标签都有代表性，并优先包含亚洲太平洋地区的数据。数据集总共有9,990个示例，其中训练集9,000个，验证集990个，涵盖19个标签（如GIVENNAME、SURNAME、EMAIL、DATE、CITY、TELEPHONENUM、AGE、STREET、BUILDINGNUM、ZIPCODE、IDCARDNUM、CREDITCARDNUMBER、DRIVERLICENSENUM、TAXNUM、GENDER、SEX、SOCIALNUM、PASSPORTNUM、TITLE）、30种语言（包括英语、法语、德语、西班牙语、意大利语、荷兰语、葡萄牙语、保加利亚语、捷克语、丹麦语、希腊语、爱沙尼亚语、芬兰语、克罗地亚语、匈牙利语、立陶宛语、拉脱维亚语、波兰语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、塞尔维亚语、瑞典语、印度尼西亚语、日语、韩语、马来语、他加禄语、越南语和中文）和37个地区，共有72,988个标注，数据格式为JSONL，许可证为CC-BY-4.0。该数据集主要用于隐私保护、个人身份信息（PII）掩码、命名实体识别（NER）和文本生成任务，所有数据均为合成PII，不包含真实个人数据。

PII Masking Mini: Multilingual Sample is a mini-sized stratified sample of the pii-masking-openpii-1.5m dataset, part of the PII-Masking-3M family. It is sampled proportionally by (source_dataset, language) to ensure representation for every locale and label, with Asia Pacific rows appearing first. The dataset contains 9,990 examples in total, with 9,000 for training and 990 for validation, covering 19 labels (such as GIVENNAME, SURNAME, EMAIL, DATE, CITY, TELEPHONENUM, AGE, STREET, BUILDINGNUM, ZIPCODE, IDCARDNUM, CREDITCARDNUMBER, DRIVERLICENSENUM, TAXNUM, GENDER, SEX, SOCIALNUM, PASSPORTNUM, TITLE), 30 languages (including English, French, German, Spanish, Italian, Dutch, Portuguese, Bulgarian, Czech, Danish, Greek, Estonian, Finnish, Croatian, Hungarian, Lithuanian, Latvian, Polish, Romanian, Slovak, Slovenian, Serbian, Swedish, Indonesian, Japanese, Korean, Malay, Tagalog, Vietnamese, and Chinese), and 37 regions, with 72,988 annotations in JSONL format, licensed under CC-BY-4.0. It is designed for privacy protection, personally identifiable information (PII) masking, named entity recognition (NER), and text generation tasks, containing synthetic PII only and no real personal data.

搜集汇总

数据集介绍

构建方式

该数据集是PII-Masking-3M系列中的代表性样本，源自旗舰数据集pii-masking-openpii-1.5m。为保障多语言与多标签的均衡覆盖，构建过程中采用基于(source_dataset, language)的分层比例抽样策略，从原始大规模语料中提取出约一万条精炼样本。所有数据均以JSONL格式存储，并按照9:1的比例划分为训练集与验证集，确保各类别与语种均获得充分展现。数据集中仅包含合成生成的个人身份信息，不含任何真实个人数据，符合隐私保护设计原则。

特点

该数据集涵盖30种语言及37个区域，总计19种标签类别，包括姓名、电子邮件、电话号码、身份证号码、信用卡号等常见PII类型，注释实例高达72,988个。其标签分布经过精心设计，既包含高频类别如GIVENNAME和DATE，也兼顾低频类别如PASSPORTNUM，从而提升模型对不同隐私元素的识别能力。特别地，数据集中优先纳入了亚太地区的样本，增强了区域代表性。数据集基于CC-BY-4.0许可发布，为隐私保护NLP研究提供了高质量、多语种、合规的基准资源。

使用方法

用户可通过Hugging Face的datasets库便捷加载该数据集，仅需一行代码ds = load_dataset("ai4privacy/pii-masking-mini-10k")，即可获取包含训练集和验证集的标准数据加载器。数据集适用于令牌分类与文本生成等任务，特别适合用于训练或评估多语种PII识别与掩码模型。此外，作为PII-Masking-3M系列的小型版本，该数据集可作为快速原型验证或资源受限场景下的理想选择，开发者可基于此进行模型调优、基准测试或隐私合规工具的研发。

背景与挑战

背景概述

在隐私保护与人工智能交叉领域，如何在不泄露个人身份信息（PII）的前提下训练高性能自然语言处理模型，已成为数据安全领域的关键课题。pii-masking-mini-10k数据集由ai4privacy团队于2026年发布，是PII-Masking-3M系列中的精简版本，从旗舰数据集pii-masking-openpii-1.5m中按源数据集与语言类别进行分层抽样而构建，覆盖30种语言及37个区域，包含19种PII标签类型。该数据集的核心研究问题在于提供高质量的合成多语种PII标注样本，以支持隐私保护机器学习中的实体识别与信息脱敏任务。作为首个公开的大规模多语种合成PII数据集家族的一部分，pii-masking-mini-10k为评估和训练跨语言PII检测系统提供了标准化基准，对推动全球隐私合规自动化具有重要影响力。

当前挑战

该数据集所解决的领域问题核心在于：传统PII检测模型多面向单一语言或少数标签，难以应对全球化应用中多语种、多类别PII的复杂识别需求。这一挑战在跨文化姓名格式、地址结构差异以及各类证件编号的多样性中尤为突出，常导致模型泛化能力不足。在数据集构建过程中，团队面临的关键挑战包括：确保合成PII的真实性与多样性以避免模型过拟合于人造模式；在30种语言间维持标签分布均衡以支持公平评估；以及在样本量有限（仅9,990条）的情况下，仍能通过分层抽样策略保留对长尾标签和稀有语言的代表性，从而为下游隐私保护任务提供可靠的数据支撑。

常用场景

经典使用场景

在自然语言处理与隐私保护交叉研究领域，pii-masking-mini-10k数据集为多语言、细粒度的个人身份信息识别与脱敏任务提供了标准化基准。该数据集涵盖30种语言、37个地区，精确定义了从姓名、日期到信用卡号等19类敏感标签，常用于训练和评估基于序列标注的命名实体识别模型。其分层抽样特性保证了跨地域与跨语言的代表性，使研究者能够公平测试模型在不同文化背景下的鲁棒性，已成为多语言PII检测的标准验证平台。

衍生相关工作

依托该数据集，研究社区催生了一系列经典衍生工作。基于其标注体系，开发者构建了OpenPII开源工具链，实现了从PII检测到掩码替换的全流程自动化；同时有团队在此基础上扩展了时间敏感型PII的检测能力，提出动态脱敏框架以适应数据变化。此外，该数据集催生了多语言隐私命名实体识别的评估基准，并启发了针对低资源语言PII检测的少样本学习方法，推动了隐私保护领域从单语向多语的范式转变。

数据集最近研究

最新研究方向

随着全球数据隐私法规（如GDPR、CCPA）的持续深化，合成数据在隐私保护中的关键角色日益凸显。pii-masking-mini-10k作为PII-Masking-3M系列的分层抽样子集，聚焦于多语言环境下个人可识别信息（PII）的脱敏与掩码任务，覆盖30种语言、19种细粒度标签及37个地区，特别是对亚太区域数据进行了优先采样。该数据集的前沿探索方向包括：基于多语言命名实体识别（NER）与生成式模型的联合训练，以提升跨语言PII检测的鲁棒性；通过合成数据模拟真实PII分布，构建隐私合规的训练基准，从而降低模型过拟合真实敏感信息的风险；以及结合标签层级结构（如姓名、地址、证件号）推进细粒度隐私保护策略。其影响力在于为AI民主化进程中提供可复现的隐私安全评估框架，同时推动合成数据在亚太及全球低资源语言场景下的应用范式转变。