SaiedAlshahrani/Moroccan_Arabic_Wikipedia_20230101_bots

该数据集使用了2023年1月1日下载的摩洛哥阿拉伯语维基百科文章，通过`Gensim` Python库和`tr` Linux/Unix工具以及`CAMeLTools` Python工具包进行预处理。该数据集用于训练一个摩洛哥阿拉伯语维基百科的掩码语言模型。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • 名称: text
  • 数据类型: string
• 分割:
  • 名称: train
  • 字节数: 7596217
  • 样本数: 5396
• 下载大小: 2958669
• 数据集大小: 7596217
• 许可证: MIT
• 语言: 阿拉伯语
• 易读名称: arywiki-articles-withbots
• 大小类别: 1K<n<10K

数据集创建

• 来源: 摩洛哥阿拉伯语维基百科文章，下载于2023年1月1日
• 处理工具: Gensim Python库
• 预处理工具: tr Linux/Unix工具和CAMeLTools Python工具包
• 用途: 用于训练摩洛哥阿拉伯语维基百科掩码语言模型

参考文献

• 标题: Performance Implications of Using Unrepresentative Corpora in Arabic Natural Language Processing
• 作者: Alshahrani, Saied; Alshahrani, Norah; Dey, Soumyabrata; Matthews, Jeanna
• 会议: Proceedings of the The First Arabic Natural Language Processing Conference (ArabicNLP 2023)
• 日期: 2023年12月
• 出版商: Association for Computational Linguistics
• 摘要: 研究了使用非代表性语料库在阿拉伯语自然语言处理中的性能影响，特别是当许多条目直接从其他语言翻译或通过自动化机制自动生成时。