arabic_billion_words

Arabic Billion Words语料库，收录了超过五百万篇阿拉伯语新闻文章，总计超过15亿词汇，包含约三百万个独特词汇。该语料库以UTF-8和Windows CP-1256两种编码方式进行编码，并使用SGML和XML两种标记语言进行标记。它支持文本生成和掩码填充等任务，并提供诸如文章URL、标题、日期和正文内容等字段。目前，该语料库包含Alittihad、Almasryalyoum等多个配置子集，每个子集均提供一个训练集。