lucianfialho/privacy-filter-br-dataset

privacy-filter-br数据集是一个用于微调privacy-filter-br命名实体识别（NER）模型的合成葡萄牙语（巴西）个人身份信息（PII）检测数据集。该数据集包含22个PII类别，兼容BIOES标注格式。每个数据样本是一个JSON对象，包含完整文本（text）、实体标注列表（entities，包括起始位置、结束位置和标签）以及生成模板（template）。PII类别涵盖巴西结构化标识符（如CPF、CNPJ、RG等）、个人联系信息（如姓名、电子邮件、电话等）、B2B/电子商务相关标识（如订单ID、客户ID等）以及OAI分类（如URL、账号、密钥）。数据集通过合成配置文件、Jinja2模板、大型语言模型（LLM）重写和格式感知标注器生成，当前稳定版本为v8.1，包含172,075个训练文档和17,072个保留文档。数据仅包含合成信息，所有PII均为虚构但格式符合巴西规范，适用于隐私过滤任务，但需注意合成数据与真实数据之间的性能差距。The privacy-filter-br Dataset is a synthetic Portuguese (Brazilian) PII detection dataset used to fine-tune the privacy-filter-br NER model. It includes 22 PII categories and is compatible with BIOES tagging. Each data sample is a JSON object containing the full text (text), a list of entity annotations (entities with start/end positions and labels), and the generation template (template). The PII categories cover Brazilian structured identifiers (e.g., CPF, CNPJ, RG), personal contact information (e.g., person name, email, phone), B2B/e-commerce identifiers (e.g., order ID, customer ID), and OAI taxonomy (e.g., URL, account number, secret). The dataset is generated through synthetic profiles, Jinja2 templates, LLM rewriting, and format-aware labeling. The current stable version is v8.1, with 172,075 training documents and 17,072 holdout documents. It is synthetic-only, with all PII being fictional but formatted according to Brazilian standards, suitable for privacy filtering tasks, though a synthetic-to-real performance gap should be considered.

搜集汇总

数据集介绍

构建方式

该数据集的构建采用了多阶段合成流水线。首先，通过4devs API生成包含有效校验和的巴西个人及企业身份标识（如CPF、CNPJ、RG等）的合成档案。随后，利用35余种基于Jinja2的模板，模拟巴西公共文件、叙事文本及结构化文档的骨架。在此基础上，借助gpt-5-nano语言模型对文本进行重写，以增强语言多样性。最后，通过格式感知标注器，对数值型格式进行骨架匹配、对自由文本进行精确匹配，完成实体标注。数据集按9%的比例划分出保留集，最终形成包含172075条训练样本和17072条保留样本的v8.1版本。

特点

该数据集涵盖22种细粒度个人隐私实体类别，包括巴西结构化标识符（如CPF、CNPJ、RG等）、个人联系信息（姓名、邮箱、电话、地址、日期）、B2B/电商交易标识（订单号、客户ID、追踪码等）以及OAI分类项（URL、账号、密钥）。所有实体均采用字符级起止位置的BIOES标注格式，支持高精度的令牌分类任务。值得注意的是，数据集完全由合成数据构成，所有个人信息均为虚构且不可追溯到真实人物。尽管合成数据的F1评分可达0.99，但在真实文档（如CVM文件）上的性能约为0.85，存在一定的合成到现实域差异。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，默认指向最新的v8.1稳定版本，也支持通过revision参数锁定特定版本。数据集以JSON对象形式存储，每条记录包含完整文本、实体列表（含起止位置与标签）及模板来源。该数据集专为微调命名实体识别模型设计，对应的预训练模型为基于BERTimbau的privacy-filter-br。用户可参考GitHub仓库中的完整复现流程，包括档案生成、OpenAI批处理提交、标注处理及模型微调，总计算成本约为1.80美元的API费用外加约7小时的GPU训练时间（RTX 2070 SUPER）。

背景与挑战

背景概述

privacy-filter-br-dataset是一个专为巴西葡萄牙语（PT-BR）环境设计的合成个人可识别信息（PII）检测数据集，由研究人员Lucian Fialho于2026年创建，并托管于HuggingFace平台。该数据集聚焦于命名实体识别（NER）任务，涵盖了包括CPF、CNPJ、电子邮件、地址等在内的22种PII类别，采用BIOES标签体系，旨在解决巴西语境下隐私信息识别与标记的核心研究问题。其生成流程创新性地结合了4devs API合成具有合法校验和的巴西身份标识、基于35个以上Jinja2模板构建文档骨架，并通过GPT-5-nano进行语言重写以增强文本多样性，最终以约17.2万训练样本和1.7万保留样本形成版本v8.1。该数据集为巴西语种下的隐私保护模型训练提供了首个系统化的合成基准，其配套的privacy-filter-br模型在合成数据上达到接近0.99的F1分数，对推动葡萄牙语隐私计算领域的发展具有重要影响力。

当前挑战

该数据集面临的核心领域问题挑战在于，所训练的模型在真实文档中的泛化能力受限，存在显著的合成到真实（synth-to-real）迁移差距，例如在30份真实的巴西证券交易委员会（CVM）文档中F1分数降至约0.85，这威胁到其在信息脱敏、数据合规等生产环境中的可靠性。在构建过程中，挑战主要体现为数据真实性与多样性的平衡：所有PII均为虚构生成，虽保证了格式真实（如含有效校验和），却难以模拟真实文本中的不规则表述、语境歧义以及自然语言变异。标签标注方面，基于规则匹配的格式感知标记器在高精度处理结构化数字格式（如CPF）的同时，对自由文本中非标准实体（如手写变体、拼写错误）的捕获存在盲区。此外，数据集的22个固定类别尚未覆盖巴西商业交易中的常见标识符（如CMC7、银行流水条码行、PIX密钥EVP等），限制了其在电商与金融场景中的直接适用性，未来需计划扩展schema至v9及以上版本以应对这些局限性。

常用场景

经典使用场景

privacy-filter-br-dataset作为首个覆盖22种巴西葡萄牙语个人身份信息（PII）类别的合成NER数据集，其经典使用场景聚焦于隐私保护领域的命名实体识别模型微调。该数据集通过BIOES标注体系，为巴西特有的结构化标识符（如CPF、CNPJ）、个人联系信息及交易数据提供高精度标注，成为训练巴西语境下隐私过滤算法的基准资源。研究者以此为基石，可构建能够精准识别法律文本、金融文档及行政记录中敏感信息的实体边界检测系统，进而推动拉丁美洲隐私计算技术的发展。

衍生相关工作

该数据集衍生了多项开创性工作：核心产物为基于BERTimbau微调的privacy-filter-br模型，其F1值在合成数据达0.99，在真实CVM文档中仍保持0.85。后续研究进一步探索了域适应技术，如边界合并策略以缩小合成与真实场景的F1差距。此外，v9版本规划扩展至CMC7、PIX密钥等巴西支付系统标识符，催生了交易级隐私保护的专项研究。开源生成管道（含4devs API与GPT-5-nano改写）更成为合成数据集构建的工程范式，被后续多语言PII检测项目所借鉴。

数据集最近研究

最新研究方向

在巴西葡萄牙语自然语言处理与隐私保护交叉领域，privacy-filter-br-dataset作为迄今最全面的合成PII检测语料库，引领了面向巴西法律框架的身份信息识别研究新范式。该数据集精心设计了22类实体标签，涵盖CPF/CNPJ等结构化巴西标识符、个人通讯信息及电商交易标识，并采用BIOES标注体系与Jinja2模板驱动的大语言模型重写生成策略，有效模拟了巴西公共文件、叙事文本及结构化文档的语言多样性。特别地，其v8.1版本引入基于真实监管文件（CVM/RFB）衍生的7类模板，使日期实体检测F1值从零跃升至0.75，显著缩小了合成数据与真实场景之间的性能鸿沟。当前前沿研究聚焦于利用该数据集微调BERTimbau模型实现高精度实体边界感知（合成数据F1≈0.99），并积极探索跨领域迁移能力评估与错误级联分析，为构建符合巴西《通用数据保护法》（LGPD）的自动化隐私过滤系统奠定了关键基础。未来研究正规划将实体类型扩展至PIX密钥、银行账户及条形码等巴西特有交易标识符，推动模型向更复杂的金融隐私场景进化。