masakhane/masakhapos

MasakhaPOS是最大的公开高质量数据集，用于20种非洲语言的词性标注（POS）。这些语言包括班巴拉语、格马拉语、埃维语、丰语、豪萨语、伊博语、基尼亚卢旺达语、卢干达语、卢奥语、莫西语、奇切瓦语、尼日利亚皮钦语、绍纳语、斯瓦希里语、茨瓦纳语、特威语、沃洛夫语、科萨语、约鲁巴语和祖鲁语。数据集包含训练集、验证集和测试集，适用于所有20种语言。数据来源于新闻领域，并由专家生成的注释。

原始信息汇总

数据集概述

数据集描述

数据集摘要

MasakhaPOS 是公开可用的最大的高质量非洲语言词性标注（POS）数据集，涵盖 20 种非洲语言。训练/验证/测试集对所有 20 种语言都可用。

支持的任务和排行榜

• 词性标注：该任务的性能通过 准确率 来衡量（越高越好）。

语言

数据集包含 20 种语言：

• Bambara (bam)
• Ghomala (bbj)
• Ewe (ewe)
• Fon (fon)
• Hausa (hau)
• Igbo (ibo)
• Kinyarwanda (kin)
• Luganda (lug)
• Dholuo (luo)
• Mossi (mos)
• Chichewa (nya)
• Nigerian Pidgin
• chiShona (sna)
• Kiswahili (swą)
• Setswana (tsn)
• Twi (twi)
• Wolof (wol)
• isiXhosa (xho)
• Yorùbá (yor)
• isiZulu (zul)

数据集结构

数据实例

数据点由空行分隔的句子以及制表符分隔的标记和标签组成。例如，Yorùbá 语言的数据点如下： python {id: 0, ner_tags: [0, 10, 10, 16, 0, 14, 0, 16, 0], tokens: [Ọ̀gbẹ́ni, Nuhu, Adam, kúrò, nípò, bí, ẹní, yọ, jìgá]}

数据字段

• id：样本的 ID
• tokens：示例文本的标记
• upos：每个标记的词性标签

词性标签对应以下列表：

"NOUN", "PUNCT", "ADP", "NUM", "SYM", "SCONJ", "ADJ", "PART", "DET", "CCONJ", "PROPN", "PRON", "X", "ADV", "INTJ", "VERB", "AUX"

标签的定义可以在 UD 网站 找到。

数据分割

所有语言都有三个分割：

• train：训练集
• dev：验证集
• test：测试集

各语言的分割大小如下：

语言	训练集	验证集	测试集
Bambara	775	154	619
Ghomala	750	149	599
Ewe	728	145	582
Fon	810	161	646
Hausa	753	150	601
Igbo	803	160	642
Kinyarwanda	757	151	604
Luganda	733	146	586
Luo	758	151	606
Mossi	757	151	604
Chichewa	728	145	582
Nigerian-Pidgin	752	150	600
chiShona	747	149	596
Kiswahili	693	138	553
Setswana	754	150	602
Akan/Twi	785	157	628
Wolof	782	156	625
isiXhosa	752	150	601
Yoruba	893	178	713
isiZulu	753	150	601

数据集创建

策划理由

该数据集旨在为 20 种服务不足的自然语言处理语言引入新资源。

源数据

数据来源是新闻领域，具体细节可以在 这里 找到。

注释

注释过程的详细信息可以在 这里 找到。注释者是从 Masakhane 招募的。

个人和敏感信息

数据来源于报纸，仅包含公众人物或个人的提及。

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

用户应注意，数据集仅包含新闻文本，这可能限制开发系统在其他领域的适用性。

附加信息

数据集策展人

[更多信息需要]

许可信息

数据的许可状态是 CC 4.0 非商业性。

引用信息

提供数据集的 BibTex 格式引用：

@inproceedings{dione-etal-2023-masakhapos, title = "{M}asakha{POS}: Part-of-Speech Tagging for Typologically Diverse {A}frican languages", author = "Dione, Cheikh M. Bamba and Adelani, David Ifeoluwa and Nabende, Peter and Alabi, Jesujoba and Sindane, Thapelo and Buzaaba, Happy and Muhammad, Shamsuddeen Hassan and Emezue, Chris Chinenye and Ogayo, Perez and Aremu, Anuoluwapo and Gitau, Catherine and Mbaye, Derguene and Mukiibi, Jonathan and Sibanda, Blessing and Dossou, Bonaventure F. P. and Bukula, Andiswa and Mabuya, Rooweither and Tapo, Allahsera Auguste and Munkoh-Buabeng, Edwin and Memdjokam Koagne, Victoire and Ouoba Kabore, Fatoumata and Taylor, Amelia and Kalipe, Godson and Macucwa, Tebogo and Marivate, Vukosi and Gwadabe, Tajuddeen and Elvis, Mboning Tchiaze and Onyenwe, Ikechukwu and Atindogbe, Gratien and Adelani, Tolulope and Akinade, Idris and Samuel, Olanrewaju and Nahimana, Marien and Musabeyezu, Th{e}og{`e}ne and Niyomutabazi, Emile and Chimhenga, Ester and Gotosa, Kudzai and Mizha, Patrick and Agbolo, Apelete and Traore, Seydou and Uchechukwu, Chinedu and Yusuf, Aliyu and Abdullahi, Muhammad and Klakow, Dietrich", editor = "Rogers, Anna and Boyd-Graber, Jordan and Okazaki, Naoaki", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.609", doi = "10.18653/v1/2023.acl-long.609", pages = "10883--10900", abstract = "In this paper, we present AfricaPOS, the largest part-of-speech (POS) dataset for 20 typologically diverse African languages. We discuss the challenges in annotating POS for these languages using the universal dependencies (UD) guidelines. We conducted extensive POS baseline experiments using both conditional random field and several multilingual pre-trained language models. We applied various cross-lingual transfer models trained with data available in the UD. Evaluating on the AfricaPOS dataset, we show that choosing the best transfer language(s) in both single-source and multi-source setups greatly improves the POS tagging performance of the target languages, in particular when combined with parameter-fine-tuning methods. Crucially, transferring knowledge from a language that matches the language family and morphosyntactic properties seems to be more effective for POS tagging in unseen languages.", }

贡献

感谢 @dadelani 添加此数据集。

搜集汇总

数据集介绍

构建方式

MasakhaPOS数据集是面向20种非洲语言的词性标注（POS）大型公开高质量资源。该数据集由Masakhane社区专家精心构建，原始数据源自新闻领域的报纸与通讯社文章。在预处理阶段，文本经过词级分词处理，随后由母语语言学家依据通用依存关系（UD）标签体系进行人工标注，确保标签的准确性与一致性。数据集针对每种语言划分出训练集、验证集和测试集，各子集规模介于数百至近千条句子之间，为多语言词性标注研究提供了坚实的基准平台。

特点

该数据集最显著的特点在于其语言覆盖的广泛性与类型学多样性，囊括了班巴拉语、埃维语、豪萨语、伊博语、斯瓦希里语、约鲁巴语等跨越多个语系的非洲语言。每条数据实例包含句子ID、分词后的令牌列表以及对应的UPOS标签序列，标签体系涵盖名词、动词、形容词等18个通用词性类别。数据集规模虽属中小型（1K至10K样本），但每语言均保持均衡的三分割结构，且标注质量经专家审核，适用于跨语言迁移学习与低资源场景下的模型评估。

使用方法

使用MasakhaPOS数据集时，可通过Hugging Face Datasets库便捷加载，需指定目标语言代码（如'yor'代表约鲁巴语）。加载后的数据实例包含'id'、'tokens'和'ner_tags'字段，其中标签以整数编码对应预定义的UPOS列表。研究者可直接利用训练集进行序列标注模型的训练，并基于验证集调优超参数，最终在测试集上以准确率为指标评估性能。该数据集特别适合用于探究跨语言知识迁移策略，例如选择与目标语言同语族或形态句法相近的源语言进行单源或多源迁移学习，以提升低资源语言的词性标注效果。

背景与挑战

背景概述

在自然语言处理领域，词性标注作为一项基础性任务，对于句法分析和语义理解具有不可替代的作用。然而，非洲大陆拥有超过2000种语言，其中绝大多数在计算语言学研究中处于严重匮乏状态，缺乏大规模、高质量的标注数据集。为弥合这一鸿沟，Masakhane研究社群于2023年发布了MasakhaPOS数据集，由Cheikh M. Bamba Dione、David Ifeoluwa Adelani等来自多个非洲及国际机构的研究人员共同构建。该数据集覆盖20种类型多样的非洲语言，包括班巴拉语、豪萨语、斯瓦希里语等，总计超过1.5万条标注句子，全部基于通用依赖（UD）框架进行专家标注。MasakhaPOS的诞生不仅为低资源语言的词性标注研究奠定了坚实的数据基础，更推动了跨语言迁移学习和多语言预训练模型在非洲语言上的应用探索，成为该领域具有里程碑意义的公共资源。

当前挑战

MasakhaPOS数据集面临的核心挑战首先在于其解决的领域问题：非洲语言在形态句法上具有高度多样性，例如班图语族的丰富屈折变化、西非语言的声调系统等，使得基于UD指南的标注规范难以统一适用，标注一致性面临严峻考验。其次，在数据集构建过程中，研究人员需克服标注人员招募与培训的困难，确保来自不同语言背景的专家能够准确理解并应用标注标准。此外，数据来源局限于新闻领域，导致模型在其他文体（如口语、社交媒体文本）上的泛化能力受限。最后，多数目标语言缺乏现成的预训练语言模型，跨语言迁移时选择最优源语言及其组合需要大量实验验证，这一过程对计算资源和专业知识提出了较高要求。

常用场景

经典使用场景

MasakhaPOS作为目前规模最大的高质量非洲语言词性标注数据集，覆盖了班巴拉语、埃维语、豪萨语等20种类型多样的非洲语言。该数据集的核心经典使用场景在于为低资源语言的自然语言处理研究提供标准化的词性标注基准，研究者可基于其统一的通用依存关系标签体系，训练和评估面向非洲语言的词性标注模型。通过该数据集，学界得以系统性地探索跨语言迁移学习在形态句法复杂且标注资源匮乏的语言上的有效性，例如对比单源与多源迁移策略对目标语言标注精度的提升作用。

解决学术问题

该数据集直接回应了非洲语言在自然语言处理研究中长期面临的标注资源缺失问题。在学术层面，MasakhaPOS解决了两个关键挑战：其一，为20种语言建立了一致且可复现的词性标注标准，使跨语言对比研究成为可能；其二，验证了基于通用依存关系框架对非洲语言进行标注的可行性，揭示了形态丰富语言在标注过程中面临的特殊歧义与聚合现象。这一工作填补了非洲语言在通用依存关系项目中的系统性空白，为后续的句法分析、命名实体识别等上游任务奠定了数据基础，显著推动了非洲语言计算语言学的发展。

衍生相关工作

MasakhaPOS的发布催生了一系列后续研究工作。其中最具代表性的包括：基于该数据集的多语言预训练模型微调研究，如AfroXLMR和AfriBERTa在词性标注任务上的性能评估；跨语言迁移学习方法的系统探索，例如对比单源与多源迁移策略、参数高效微调方法对目标语言的影响。此外，该数据集还启发了面向低资源语言的联合标注研究，将词性标注与形态切分任务相结合。在学术社区中，MasakhaPOS已成为评估非洲语言表示学习进展的标准测试集，并推动了更多非洲语言标注资源的建设。