afriberta-corpus-train_first50000

AfriBERTas Corpus数据集是用于训练AfriBERTa模型的语料库，数据主要来源于BBC新闻网站，部分语言的数据来自Common Crawl。该数据集支持多种非洲语言，包括阿法尔语、阿姆哈拉语、豪萨语等。每个数据点包含id和text字段，数据集分为训练集和测试集，且每个语言的数据集大小不一。使用该数据集时需要注意数据可能存在的偏见，因为大部分数据来自新闻网站，模型可能会偏向新闻领域。