UdS-LSV/hausa_voa_topics

---
annotations_creators:
- expert-generated
language_creators:
- found
language:
- ha
license:
- unknown
multilinguality:
- monolingual
size_categories:
- 1K<n<10K
source_datasets:
- original
task_categories:
- text-classification
task_ids:
- topic-classification
pretty_name: Hausa Voa News Topic Classification Dataset (HausaVoaTopics)
dataset_info:
features:
- name: news_title
dtype: string
- name: label
dtype:
class_label:
names:
'0': Africa
'1': Health
'2': Nigeria
'3': Politics
'4': World
splits:
- name: train
num_bytes: 144928
num_examples: 2045
- name: validation
num_bytes: 20561
num_examples: 290
- name: test
num_bytes: 41191
num_examples: 582
download_size: 124578
dataset_size: 206680
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

# Dataset Card for Hausa VOA News Topic Classification dataset (hausa_voa_topics)

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)

## Dataset Description

- **Homepage:** -
- **Repository:** https://github.com/uds-lsv/transfer-distant-transformer-african
- **Paper:** https://www.aclweb.org/anthology/2020.emnlp-main.204/
- **Leaderboard:** -
- **Point of Contact:** Michael A. Hedderich and David Adelani
{mhedderich, didelani} (at) lsv.uni-saarland.de

### Dataset Summary

A news headline topic classification dataset, similar to AG-news, for Hausa. The news headlines were collected from [VOA Hausa](https://www.voahausa.com/).

### Supported Tasks and Leaderboards

[More Information Needed]

### Languages

Hausa (ISO 639-1: ha)

## Dataset Structure

### Data Instances

An instance consists of a news title sentence and the corresponding topic label.

### Data Fields

- `news_title`: A news title
- `label`: The label describing the topic of the news title. Can be one of the following classes: Nigeria, Africa, World, Health or Politics.

### Data Splits

[More Information Needed]

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

[More Information Needed]

### Citation Information

[More Information Needed]

### Contributions

Thanks to [@michael-aloys](https://github.com/michael-aloys) for adding this dataset.

A news headline topic classification dataset, similar to AG-news, for Hausa. The news headlines were collected from VOA Hausa. The dataset includes news titles and corresponding topic labels, which are Nigeria, Africa, World, Health, and Politics. The dataset is divided into training, validation, and test sets with varying numbers of instances. The language of the dataset is Hausa, and the data was expert-generated from the original source, VOA Hausa.

原始信息汇总

Hausa Voa News Topic Classification Dataset (HausaVoaTopics)

数据集概述

基本信息

• 数据集名称: Hausa Voa News Topic Classification Dataset (HausaVoaTopics)
• 语言: Hausa
• 许可: 未知
• 多语言性: 单语种
• 数据集大小: 1K<n<10K
• 源数据: 原始数据
• 任务类别: 文本分类
• 任务ID: 主题分类

数据集结构

特征

• news_title: 新闻标题，数据类型为字符串。
• label: 标签，描述新闻标题的主题，数据类型为类别标签，包括以下类别：
  • 0: Africa
  • 1: Health
  • 2: Nigeria
  • 3: Politics
  • 4: World

数据分割

• train: 训练集，包含2045个实例，144932字节。
• validation: 验证集，包含290个实例，20565字节。
• test: 测试集，包含582个实例，41195字节。

数据集创建

数据来源

• 新闻标题收集自VOA Hausa。

标注

• 标注创建者: 专家生成

数据集大小

• 下载大小: 195824字节
• 数据集大小: 206692字节

搜集汇总

数据集介绍

构建方式

在自然语言处理与低资源语言研究的交汇点上，豪萨语作为非洲大陆使用最广泛的土著语言之一，其数据资源的匮乏长期制约着相关技术的发展。该数据集基于美国之音豪萨语频道（VOA Hausa）的新闻标题构建，通过系统化采集与专家标注，形成了面向主题分类任务的语料库。数据收集聚焦于新闻标题这一简洁且信息密集的文本形式，确保了标注任务的可操作性与类别区分度。标注过程由语言专家主导，将标题归入非洲、健康、尼日利亚、政治、世界五大主题类别，兼顾了地域性与全球性议题的覆盖，从而为低资源场景下的文本分类研究提供了可靠的基准数据。

使用方法

该数据集的使用遵循标准文本分类流程，兼容HuggingFace Datasets库的加载机制。用户可通过指定配置名称'default'，并调用load_dataset函数直接获取预划分的三份数据子集。每条数据实例包含'news_title'字符串与'label'整数索引，后者对应五类预定义主题。模型训练时，可将新闻标题作为输入特征，采用基于词嵌入或预训练语言模型的方法进行编码，并以交叉熵损失函数优化分类器。该数据集特别适合作为低资源语言分类任务的基准，支持与AG-News等英文数据集的跨语言对比实验，亦可作为豪萨语预训练模型下游任务微调的评估平台。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的研究长期面临标注数据匮乏的困境，尤其是非洲语言如豪萨语（Hausa）在新闻文本分类任务中的资源几乎空白。为弥合这一鸿沟，德国萨尔大学（Universität des Saarlandes）的研究人员Michael A. Hedderich与David Adelani于2020年构建了豪萨语VOA新闻主题分类数据集。该数据集源自美国之音豪萨语频道的新闻标题，涵盖非洲、健康、尼日利亚、政治、世界五大主题，共包含2917条标注样本。作为首个面向豪萨语的新闻主题分类基准，该数据集不仅填补了该语种在文本分类领域的空白，更为跨语言迁移学习研究提供了关键评估平台，其相关论文发表于EMNLP 2020，对推动低资源语言NLP发展具有里程碑意义。

当前挑战

该数据集面临的挑战体现在多个层面。领域层面，豪萨语作为非洲使用最广泛的低资源语言之一，缺乏大规模预训练语料与成熟的词嵌入模型，这使得基于该数据集的文本分类任务在模型泛化能力与少样本学习效率上面临显著瓶颈。构建层面，数据收集受限于VOA单一新闻来源，导致主题分布不均，如尼日利亚类样本占比过高而健康类稀缺，可能引入地域性偏见；标注过程依赖专家手工完成，规模仅数千条，难以覆盖豪萨语复杂的形态变化与口语化表达，限制了模型对真实场景噪声的鲁棒性。此外，数据集缺乏跨领域验证与多模态扩展，进一步制约了其在低资源NLP任务中的实际应用价值。

常用场景

经典使用场景

Hausa VOA新闻主题分类数据集（hausa_voa_topics）作为豪萨语自然语言处理领域的奠基性资源，其最经典的使用场景在于文本主题分类任务。该数据集收录了来自美国之音豪萨语频道的新闻标题，涵盖非洲、健康、尼日利亚、政治和世界五大类别，共计近3000条样本。研究者常将其作为豪萨语低资源语言分类任务的基准数据集，用于评估和比较不同模型在语义理解与主题判别上的性能表现，尤其在跨语言迁移学习与少样本学习范式中占据核心地位。

解决学术问题

该数据集有效回应了非洲低资源语言在自然语言处理研究中长期被忽视的学术困境。通过提供专家标注的高质量新闻标题分类语料，它使得研究者能够系统探究豪萨语在文本分类任务中的语言特性与建模挑战。该数据集的构建推动了跨语言迁移学习、对抗训练与预训练语言模型在低资源场景下的适应性研究，为验证模型在语料匮乏环境中的泛化能力提供了可重复的实验基准，显著拓展了非洲语言信息处理的学术边界。

实际应用

在实际应用层面，该数据集支撑了豪萨语新闻推荐系统、舆情监测平台与多语言信息检索服务的构建。基于该数据集训练的模型能够自动将豪萨语新闻标题归类至政治、健康等主题，为西非地区媒体机构提供高效的内容管理工具。此外，该资源还可赋能跨语言新闻聚合系统，帮助非豪萨语用户快速理解不同主题的新闻报道，促进区域信息流通与公共决策的透明化。

数据集最近研究

最新研究方向

在自然语言处理领域，低资源语言的文本分类任务正逐渐成为研究热点，尤其随着多语言模型的跨语言迁移能力受到广泛关注。Hausa语作为非洲地区使用人数众多的语言之一，其新闻主题分类数据集（Hausa VOA Topics）的构建，为探索非洲语言在预训练模型中的迁移学习效果提供了重要基准。当前前沿研究方向聚焦于利用跨语言Transformer模型，如mBERT和XLM-R，在零样本或少样本场景下对Hausa语新闻标题进行主题分类，以验证模型在资源匮乏语言上的泛化能力。该数据集与EMNLP 2020中关于跨语言迁移的突破性研究紧密相关，其发布不仅推动了非洲语言自然语言处理的发展，也为弥合数字语言鸿沟、促进多语言信息获取与区域新闻分析提供了数据基础，具有显著的社会意义与研究价值。