dominguesm/restore-punctuation-ptbr-dataset

---
dataset_info:
features:
- name: text
dtype: string
- name: tokens
sequence: string
- name: ner_tags
sequence:
class_label:
names:
'0': B-UO
'1': B-OO
'2': B-O.
'3': B-O!
'4': B-O,
'5': B-U.
'6': B-U!
'7': B-U,
'8': 'B-O:'
'9': B-O;
'10': 'B-U:'
'11': B-O'
'12': B-O-
'13': B-O?
'14': B-U?
splits:
- name: train
num_bytes: 9428751107.2
num_examples: 4767824
- name: test
num_bytes: 1178593888.4
num_examples: 595978
- name: valid
num_bytes: 1178593888.4
num_examples: 595978
download_size: 4273504320
dataset_size: 11785938884.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: valid
path: data/valid-*
---

数据集信息：
特征项：
- 名称：文本（text），数据类型：字符串
- 名称：词元（Token），数据类型：字符串序列
- 名称：命名实体识别标签（Named Entity Recognition, NER），其数据类型为序列，该序列的类标签命名映射如下：
'0': B-UO
'1': B-OO
'2': B-O.
'3': B-O!
'4': B-O,
'5': B-U.
'6': B-U!
'7': B-U,
'8': 'B-O:'
'9': B-O;
'10': 'B-U:'
'11': B-O'
'12': B-O-
'13': B-O?
'14': B-U?
数据集拆分：
- 拆分名称：训练集（train），字节占用量：9428751107.2，样本总数：4767824
- 拆分名称：测试集（test），字节占用量：1178593888.4，样本总数：595978
- 拆分名称：验证集（valid），字节占用量：1178593888.4，样本总数：595978
下载总大小：4273504320
数据集总大小：11785938884.0
配置方案：
- 配置名称：默认配置（default）
数据文件映射：
- 对应训练集拆分：路径为 data/train-*
- 对应测试集拆分：路径为 data/test-*
- 对应验证集拆分：路径为 data/valid-*

原始信息汇总

数据集信息

特征

• text: 数据类型为字符串。
• tokens: 序列类型，数据类型为字符串。
• ner_tags: 序列类型，包含类别标签，标签名称如下：
  • 0: B-UO
  • 1: B-OO
  • 2: B-O.
  • 3: B-O!
  • 4: B-O,
  • 5: B-U.
  • 6: B-U!
  • 7: B-U,
  • 8: B-O:
  • 9: B-O;
  • 10: B-U:
  • 11: B-O
  • 12: B-O-
  • 13: B-O?
  • 14: B-U?

数据集划分

• train: 包含4767824个样本，大小为9428751107.2字节。
• test: 包含595978个样本，大小为1178593888.4字节。
• valid: 包含595978个样本，大小为1178593888.4字节。

数据集大小

• 下载大小: 4273504320字节
• 数据集总大小: 11785938884.0字节

配置

• default 配置包含以下数据文件：
  • train: 路径为 data/train-*
  • test: 路径为 data/test-*
  • valid: 路径为 data/valid-*

搜集汇总

数据集介绍

构建方式

该数据集名为dominguesm/restore-punctuation-ptbr-dataset，专注于巴西葡萄牙语的标点符号恢复任务。其构建过程基于大规模文本语料，通过自动化标注流水线，将原始无标点文本转化为带有标点标签的序列标注数据。具体而言，数据集中每条样本包含原始文本（text）和分词后的令牌序列（tokens），每个令牌对应一个命名实体识别（NER）风格的标点标签（ner_tags），标签体系涵盖句号、逗号、问号、感叹号、冒号、分号等常见标点，并区分大写和小写上下文（如B-U.表示大写后句号，B-O,表示小写后逗号）。数据集划分为训练集（约476万条）、测试集（约59.6万条）和验证集（约59.6万条），总规模达11.7GB，确保了充分的数据覆盖和模型训练的可靠性。

特点

该数据集的核心特点在于其细粒度的标点标签设计，不仅覆盖了巴西葡萄牙语中所有主流标点符号，还通过大写（U）和小写（O）前缀区分标点前后的字母大小写状态，从而捕捉语言中丰富的语法和语义线索。这种设计使得模型能够同时学习标点插入和大小写恢复，提升了多任务联合建模的潜力。此外，数据集规模庞大且划分均衡，训练集与验证集、测试集的比例约为8:1:1，有助于防止过拟合并客观评估模型泛化能力。标签采用BIO（Begin, Inside, Outside）格式的变体，兼容主流序列标注框架，便于直接应用于Transformer等深度学习模型。

使用方法

使用该数据集时，研究人员可将其加载为Hugging Face的Dataset对象，通过指定config_name为'default'并划分训练、测试、验证集。推荐采用序列标注范式，将ner_tags作为目标标签，构建基于BERT、XLM-R等预训练语言模型的标点恢复系统。具体步骤包括：对tokens进行词嵌入编码，利用CRF或线性分类层预测每个令牌的标点标签，并在推理阶段将标签序列映射回原始文本以插入标点。由于数据格式与NER任务高度一致，可复用现有工具链如transformers库的Trainer API，并支持动态批处理和混合精度训练以加速实验。评估指标建议采用精确率、召回率和F1分数，重点关注各类标点的恢复性能。

背景与挑战

背景概述

在自然语言处理领域，标点符号的缺失或错用会严重干扰文本的语义理解与流畅性，尤其对于葡萄牙语等形态丰富的语言，标点恢复任务成为提升下游应用性能的关键预处理步骤。由研究人员dominguesm主导构建的restore-punctuation-ptbr-dataset数据集，于近年发布，旨在为巴西葡萄牙语文本提供大规模的标点恢复训练资源。该数据集包含超过470万条训练样本，以及近60万条验证与测试样本，覆盖了多种标点类型（如句号、逗号、问号、感叹号等）及其在上下文中的位置标注，其规模与精细度在同类资源中具有开创性意义。核心研究问题聚焦于如何利用序列标注方法，从无标点或标点混乱的文本中准确恢复原始标点结构，从而推动葡萄牙语文本规范化技术的发展，对机器翻译、语音识别后处理、文本生成等领域的性能提升产生了深远影响。

当前挑战

该数据集所应对的核心领域挑战在于，巴西葡萄牙语的标点使用规则复杂且存在大量歧义，例如逗号在从句划分中的灵活运用、问号与感叹号在非正式文本中的混用，使得模型难以从无标点文本中精确推断标点位置与类型。构建过程中面临的主要挑战包括：原始语料来源多样（如网络文本、新闻、对话），其标点缺失模式各异，需人工设计细致的标注规范以统一标签体系；数据规模庞大（总大小超过11GB），需高效处理噪声与格式不一致问题；此外，14种标点标签的细粒度分类（如区分句末标点与句中标点）增加了序列标注的难度，要求模型具备对长距离依赖关系的建模能力，以避免因标点误判导致语义扭曲。

常用场景

经典使用场景

在自然语言处理领域，标点符号的缺失会显著影响文本的可读性与语义解析。dominguesm/restore-punctuation-ptbr-dataset 专为巴西葡萄牙语文本的标点恢复任务而设计，其经典使用场景是作为序列标注模型的训练与评估基准。该数据集将每个词元（token）标注为特定标点符号的起始标签（如 B-O.、B-U, 等），使模型能够学习在无标点文本中精准插入逗号、句号、问号及感叹号等符号，从而还原文本的原始语法结构。其大规模语料（训练集含近480万样本）为深度学习模型提供了丰富的上下文依赖信息，是推动低资源语言标点恢复研究的关键资源。

实际应用

在实际应用中，该数据集直接服务于巴西葡萄牙语的语音识别（ASR）后处理系统。ASR输出的转录文本通常缺失标点，而该数据集训练的模型可自动添加句号、逗号等符号，使转录结果更符合书面规范，提升可读性。此外，它被集成到智能客服的文本预处理流水线中，用于还原用户输入的自然语言标点，避免因格式混乱导致意图识别错误。在数字出版领域，该数据集可用于自动化校对历史文档或用户生成内容，批量修复缺失标点，降低人工编辑成本。其标注体系兼顾常见标点与特殊符号（如冒号、分号），适配多场景文本规范化需求。

衍生相关工作

该数据集衍生出多项经典工作，包括基于预训练语言模型（如BERTimbau、XLM-R）的微调方案，研究者通过对比不同架构（如CRF层、指针网络）在标点恢复上的性能，验证了上下文嵌入对葡萄牙语标点预测的有效性。此外，有工作将其与多任务学习结合，同时进行标点恢复与词性标注，利用共享表示提升整体效果。在跨语言迁移研究中，该数据集被用作目标域评测集，测试从英语或西班牙语迁移至葡萄牙语的标点恢复模型泛化能力。其标注标签设计也为后续构建类似数据集（如面向口语或社交媒体文本）提供了模板，推动了标点恢复任务在罗曼语族语言中的标准化进程。