MohamedRashad/arabic-billion-words

Arabic Billion Words数据集是一个全面的阿拉伯语文本集合，包含超过五百万篇新闻文章。该语料库具有丰富的语言多样性，包含超过十亿五千万个单词，其中大约有三百万个独特单词。文本以UTF-8和Windows CP-1256两种编码格式存储，并使用SGML和XML两种标记语言进行标记。数据集适用于自然语言处理任务，如情感分析、主题建模和语言建模。

原始信息汇总

数据集概述

数据集名称

• 名称: Arabic Billion Words
• 别名: Abu El-Khair Arabic News Corpus (arabic-billion-words)

数据集特征

• 语言: 阿拉伯语 (ar)
• 大小: 1M<n<10M
• 任务类型: 文本生成 (text-generation)

数据集详情

• 特征:
  • url: 字符串类型，文章原始URL。
  • head_line: 字符串类型，文章标题。
  • date: 字符串类型，文章日期。
  • text: 字符串类型，文章内容。
• 分割:
  • 训练集 (train):
    • 字节数: 17017097763
    • 示例数: 5222964
• 下载大小: 8050780387
• 数据集大小: 17017097763

数据集内容

• 描述: 包含超过五百万篇阿拉伯语报纸文章，总计超过15亿字，约300万独特词汇。文本采用UTF-8和Windows CP-1256编码，使用SGML和XML标记。

数据示例

python { "url": "http://today.almasryalyoum.com/printerfriendly.aspx?ArticleID=61300", "head_line": "رئيس وزراء المجر: عنصرية جماهير أوجبيست جلبت العار للبلاد", "date": "19/5/2007", "text": """قال متحدث باسم الحكومة المجرية: إن رئيس الوزراء فيرنك جيوركساني رحب بقرار اتحاد كرة القدم المجري بخصم ثلاث نقاط من نادي أوجبيست بسبب السلوك العنصري الذي صدر من جماهيره. ... يذكر أن المجر بها مجموعة من مشجعي كرة القدم المشاغبين «الهوليجانز»، وشارك الكثير منهم في أعمال شغب معادية للحكومة في العام الماضي.""", }

数据分割

• 分割: 训练集
• 配置子集分布:
  • Alittihad: 349,342
  • Almasryalyoum: 291,723
  • Almustaqbal: 446,873
  • Alqabas: 817,274
  • Echoroukonline: 139,732
  • Ryiadh: 858,188
  • Sabanews: 92,149
  • SaudiYoum: 888,068
  • Techreen: 314,597
  • Youm7: 1,172,136

数据集用途

• 应用: 自然语言处理任务，包括情感分析、主题建模和语言建模等，特别适用于阿拉伯语新闻文章的研究。