dsfsi/za-isizulu-siswati-news

该数据集包含IsiZulu新闻文章和标题以及Siswati新闻标题，数据来源于Isolezwe新闻网站和SABC新闻LigwalagwalaFM的Facebook页面。数据集经过注释处理，包含非ASCII字符和英语单词，需在模型训练前去除。数据集旨在为南非低资源语言IsiZulu和Siswati创建新闻分类模型。数据集使用IPTC NewsCodes作为分类标准，并移除了观察次数较少的类别。数据集包含完整类别数据和简化类别数据。

The dataset includes isiZulu news articles and headlines, as well as Siswati news headlines, sourced from the Isolezwe news website and the SABC news LigwalagwalaFM Facebook page. The data was collected and annotated to create a news categorization model for the low-resource languages of isiZulu and Siswati in South Africa. The dataset contains special characters, some English words, and non-ASCII encoded characters that must be processed before model training. Classification uses IPTC NewsCodes as categories, including both full and reduced category data.

原始信息汇总

数据集概述

数据集名称

za-isizulu-siswati-news-2022

数据集描述

该数据集包含isiZulu新闻（文章和标题）和Siswati新闻标题。数据来源于Isolezwe新闻网站和SABC新闻LigwalagwalaFM Facebook页面。

数据内容

• isiZulu新闻文章
• isiZulu新闻标题
• Siswati新闻标题

数据处理

数据收集后，经过标注处理。数据集中包含特殊字符、一些英文单词和非ASCII编码字符，需要在模型训练前进行处理。

分类类别

使用IPTC NewsCodes作为分类标准，具体分类可见data/news-categories-iptc-newscodes.csv。

数据集优化

移除了观测数量少于35的isiZulu类别和少于6的Siswati类别。数据集包含完整类别数据和简化类别数据。

数据集信息

完整数据集信息请参见data-statement.md。

许可证

数据集遵循CC 4.0 BY SA许可证。

搜集汇总

数据集介绍

构建方式

在低资源语言自然语言处理领域，数据稀缺是制约模型发展的核心瓶颈。为缓解这一困境，研究者针对南非的祖鲁语（isiZulu）和斯瓦蒂语（Siswati）两类低资源语言，构建了新闻分类语料库。数据集构建过程包括两个阶段：首先，通过爬取Isolezwe新闻网站及SABC新闻LigwalagwalaFM Facebook页面的公开内容，分别获取了祖鲁语新闻文章与标题、斯瓦蒂语新闻标题；随后，将原始数据交由标注人员进行类别标注，并依据IPTC新闻编码体系进行高层次分类。为提升数据质量，剔除了样本量过少的类别（祖鲁语少于35条、斯瓦蒂语少于6条），最终形成包含完整类别与精简类别两个版本的数据集。

特点

该数据集的核心特点在于其双语覆盖与多粒度文本结构。它同时囊括祖鲁语的新闻文章和标题，以及斯瓦蒂语的新闻标题，为跨语言和文本长度差异下的分类研究提供了独特资源。数据标注基于国际标准IPTC新闻编码，确保了类别体系的专业性与可迁移性。此外，数据集提供了完整类别和精简类别两种版本，便于研究者根据任务需求灵活选择。值得注意的是，数据中包含特殊字符、非ASCII编码字符及部分英文词汇，需在模型训练前进行预处理，这也反映了真实低资源语言数据的典型挑战。

使用方法

该数据集主要用于文本分类任务的基准模型构建与评估。使用者可将其加载为训练集和测试集，针对祖鲁语或斯瓦蒂语的新闻内容进行类别预测。在数据预处理阶段，需移除特殊字符和非ASCII编码的噪声信息，并对英文词汇进行统一处理。模型训练时，建议采用适用于低资源场景的迁移学习或微调策略，如基于多语言预训练模型进行适配。数据集支持完整类别与精简类别两种标签体系，研究者可依据分类粒度需求选择对应版本。最终，模型性能可通过标准分类指标（如准确率、F1值）进行评测，为低资源语言的新闻自动分类提供基线参考。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的文本分类任务长期面临数据匮乏与标注不足的困境，尤其对于非洲本土语言如isiZulu和Siswati，其新闻语料的系统化构建与研究尚处于起步阶段。2022年，由Andani Madodonga、Vukosi Marivate及Matthew Adendorff等研究人员主导，依托南非数据科学促进创新中心（DSFSI）创建了za-isizulu-siswati-news数据集。该数据集聚焦于isiZulu新闻文章与标题以及Siswati新闻标题，通过从Isolezwe新闻网站及SABC新闻LigwalagwalaFM Facebook页面爬取数据，并经过人工标注形成。其核心研究问题在于为这两种南非低资源语言建立新闻分类的基线模型，采用国际IPTC新闻代码作为分类标准，对推动非洲低资源语言的自然语言处理研究具有重要开创性意义。

当前挑战

该数据集面临的挑战首先体现在领域问题的特殊性上：isiZulu和Siswati作为低资源语言，缺乏成熟的预训练语言模型与大规模标注语料，传统基于高资源语言的方法难以直接迁移，且新闻分类需处理标题与文章两类差异显著的文本长度，增加了模型泛化难度。在构建过程中，数据爬取面临网络来源单一与内容噪声问题，语料中包含特殊字符、非ASCII编码及混入英语词汇，需进行严格清洗。此外，标注后的类别分布极不均衡，部分类别的观察样本数极少（isiZulu中少于35条、Siswati中少于6条），迫使研究者删除低频类别，这可能导致分类体系的不完整与模型对长尾类别的识别能力不足。

常用场景

经典使用场景

该数据集专为祖鲁语和斯瓦蒂语这两种南非低资源语言的新闻文本分类任务而构建，涵盖了完整的新闻文章与新闻标题两种文本形态。研究者可借助该数据集训练基线分类模型，对新闻内容按照国际新闻电信理事会（IPTC）新闻代码体系进行高层次的类别划分，例如政治、经济、体育等主题标签。其经典应用在于为低资源语言提供首个标准化新闻分类基准，推动非洲本土语言的自然语言处理研究。

解决学术问题

该数据集直面低资源语言在自然语言处理领域长期面临的语料匮乏与标注不足的学术困境。通过系统性地收集和人工标注祖鲁语新闻文章与标题、斯瓦蒂语新闻标题，它解决了因数据稀缺而难以训练可靠文本分类模型的瓶颈问题。研究团队还针对类别分布不均衡进行了合理裁剪，为后续研究者提供了可复现的基线实验设置，从而推动低资源语言新闻分类的标准化评估与跨语言对比研究。

衍生相关工作

基于该数据集，研究团队已发表了题为《Izindaba-Tindzaba: Machine learning news categorisation for Long and Short Text for isiZulu and Siswati》的学术论文，详细介绍了基线模型构建与实验结果。该工作还衍生出对长短文本分类策略的深入探讨，以及针对低资源语言数据增强与迁移学习方法的后续研究。此外，相关代码与数据仓库的开放共享，为其他低资源语言的新闻分类研究提供了可借鉴的流程与基准。