Multilingual Dataset for Training and Evaluating Diacritics Restoration Systems

该数据集包含 12 种语言的训练和评估数据： - 越南语 - 罗马尼亚语 - 拉脱维亚语 - 捷克语 - 波兰语 - 斯洛伐克语 - 爱尔兰语 - 匈牙利语 - 法语 - 土耳其语 - 西班牙语 - 克罗地亚语 对于每种语言，一个培训、一个开发和一个测试集从提供维基百科文章。此外，每个语言数据集都包含从（一般）Web 文本中收集的（大得多的）训练集。除了可以包含相似句子的维基百科和网络训练集之外，所有集都是不相交的。数据被分割成句子，这些句子被进一步的词标记化。

This dataset contains training and evaluation data across 12 languages: Vietnamese, Romanian, Latvian, Czech, Polish, Slovak, Irish, Hungarian, French, Turkish, Spanish, and Croatian. For each language, a training, development, and test set are sourced from the provided Wikipedia articles. Additionally, each language's dataset includes a much larger training set collected from general web text. All splits are disjoint, with the exception of the Wikipedia and web training sets, which may contain overlapping sentences. The data is segmented into sentences, which are subsequently tokenized at the word level.

搜集汇总

背景与挑战

背景概述

该数据集是一个多语言资源，专门用于训练和评估变音符号恢复系统，涵盖越南语、罗马尼亚语等12种语言。数据来源于维基百科和网络文本，经过句子分割和词标记化处理，提供训练、开发和测试集。