nrl-ai/vn-diacritic-eval

一个用于越南语变音符号恢复评估的可重复使用的数据集，涵盖四种不同语域的越南语文本：现代商业/合同/新闻、正式/法律文本、对话和古典文学。数据集以(input, target)对的形式存储，其中input是去除变音符号的文本，target是带有正确变音符号的原始文本。该数据集用于比较不同变音符号恢复模型在多语域平衡网格上的性能。

A reproducible evaluation set for Vietnamese diacritic restoration, covering four registers of Vietnamese text: modern business/contracts/news, formal/legal-prose, conversational, and classical literary. The dataset is stored as (input, target) pairs where input is the diacritic-stripped form and target is the correctly-diacriticized original. It is used to compare the performance of diacritic-restoration models on a register-balanced grid.

搜集汇总

数据集介绍

构建方式

vn-diacritic-eval数据集由Neural Research Lab构建，旨在为越南语声调恢复任务提供多语域评估基准。其构建过程融合四个来源：从nom-vn项目手工筛选的55句商业与新闻文本（CC0）、源自《世界人权宣言》越南语译本的72句正式法律文本（公有领域）、从Tatoeba语料库采样的300句会话文本（CC-BY 2.0 FR），以及从UD_Vietnamese-VTB测试集提取的800句经典文学文本（CC-BY-SA-4.0）。所有句子经过NFC标准化后，以输入（去除声调）和目标（正确声调）配对形式存储，确保评估的一致性与可复现性。

使用方法

用户可通过HuggingFace的datasets库便捷加载数据，例如使用load_dataset('nrl-ai/vn-diacritic-eval', 'business_55', split='train')获取商业子集。评估模型时，需对每个子集逐一处理：将输入文本经分词器编码后输入模型生成预测，并对预测结果进行NFC标准化及标点规范化，再与目标文本逐词比对计算准确率。推荐在四个子集上分别计算指标后取平均，以获得全面反映模型在所有语域表现的综合分数。

背景与挑战

背景概述

越南语作为声调语言，其正字法中的变音符号（如声调标记和字母修饰符）在文本编码与传输中常因技术限制而被剥离，导致语义歧义与语言理解障碍。变音符号恢复任务旨在从无变音文本中重建原生的正确形式，是自然语言处理领域一项关键的基础性研究。由Neural Research Lab于2026年创建的vn-diacritic-eval数据集，旨在为这一任务提供覆盖多语域的标准化评估基准。该数据集精心设计了商务、正式、对话与文学四个语域子集，分别源自CC0授权的手工语料、公共领域的《世界人权宣言》、CC-BY 2.0的Tatoeba语料库以及CC-BY-SA-4.0的UD_Vietnamese-VTB树库，全面挑战了单一语料评估的局限性。其发布促进了越南语变音恢复模型在真实场景中鲁棒性的公平比较，对低资源语言处理技术的进步具有重要推动价值。

当前挑战

该数据集所应对的领域挑战在于，现有变音恢复模型常仅基于单一语料（如文学作品）评估，导致其对语域偏移（如从文学转向商务或对话文本）的泛化能力显著不足，无法在真实多场景应用中保持稳定的性能。构建过程中，研究者面临多重技术挑战：首先需从不同来源语料中精准提取并保留各语域的语言特征，如商务文本的合同术语与法律措辞、对话文本的口语化表达，同时确保所有样本经Unicode NFC标准化以消除编码不一致；其次，需制定严格的许可证组合策略，在CC0、公共领域与CC-BY-SA等不同授权协议下合规整合，并保证重构脚本的确定性以支持结果的可复现性。此外，文学子集还需处理树库特有的标点间距约定，通过精密的正则变换消解标注惯例带来的干扰，最终形成一套无偏且可扩展的评估体系。

常用场景

经典使用场景

在自然语言处理领域，越南语声调恢复任务长期面临着评估基准单一化的困境，传统评测集往往聚焦于特定语域（如新闻或正式文本），难以全面衡量模型在不同语言风格下的泛化能力。vn-diacritic-eval数据集应运而生，其核心设计哲学在于构建一个覆盖商务、正式、对话与文学四种典型语域的均衡评测网格。该数据集包含1227条精心挑选的句子，每条样本均以去除声调的输入与完整声调标注的目标配对形式呈现，为研究者提供了一个可重复、多维度、跨语域的标准化评估工具，尤其适用于验证声调恢复模型在真实多变文本环境中的鲁棒性。

解决学术问题

该数据集首次系统性地回应了越南语声调恢复研究中一个长期被忽视的关键问题——单一语域评测指标无法揭示模型在语域迁移时的性能衰减。通过引入多语域并行评估框架，它使得学术界能够量化分析模型在商务合同、正式法律文书、日常对话和古典文学等截然不同语言风格下的表现差异。这一设计不仅揭示了现有顶尖模型（如Toshiiiii1/Vietnamese_diacritics_restoration_5th）在不同语域间的性能波动规律，更推动了声调恢复领域从‘追求单一高分’向‘追求语域均衡’的范式转变，对提升越南语自然语言处理技术在多元化场景中的落地可靠性具有里程碑意义。

实际应用

在实际应用中，该数据集为越南语文本预处理流水线提供了不可或缺的质量控制基准。例如，在越南政府部门的自动化公文处理系统中，商务和正式语域的子集可用于验证模型对法律合同、行政文件等严谨文本的声调恢复准确率；在社交媒体内容审核场景中，对话语域子集则帮助评估模型对非正式、口语化表达的适应能力。文学语域子集进一步服务于数字人文领域的古籍数字化项目，确保古典文学作品的声调还原忠实于原文。这些跨域评估能力使得该数据集成为开发稳健型越南语声调恢复系统的标准参考。

数据集最近研究

最新研究方向

在越南语文本处理领域，声调恢复任务正从单一语料库评估向多语域交叉验证范式演进。vn-diacritic-eval数据集的问世，标志着研究焦点转向揭示模型在不同语言使用场景——从法律文书、商业新闻到日常对话与古典文学——间的性能差异。这一转变呼应了自然语言处理对鲁棒性与泛化能力的深层追求，尤其针对那些在常规测试集上表现优异却在现实应用中出现语域偏移的系统。通过提供四个经精确定义的语域样本（商务、正式、会话与文学），该评测基准为构建对语言变体敏感且可靠的声调恢复模型提供了关键工具，推动领域从单一指标优化走向多维情境评估的新阶段。