oserikov/arabic_billion_words
收藏数据集卡片 - Arabic Billion Words Corpus
数据集描述
数据集摘要
Abu El-Khair Corpus 是一个包含超过五百万篇新闻文章的阿拉伯语文本语料库。它总共包含超过十亿五千万个单词，其中约有300万个独特的单词。该语料库采用两种编码方式：UTF-8 和 Windows CP-1256，并使用两种标记语言：SGML 和 XML。
支持的任务和排行榜
[更多信息需补充]
语言
阿拉伯语
数据集结构
数据实例
以下是 "Almasryalyoum" 配置子集的一个示例：
python { "url": "http://today.almasryalyoum.com/printerfriendly.aspx?ArticleID=61300", "head_line": "رئيس وزراء المجر: عنصرية جماهير أوجبيست جلبت العار للبلاد", "date": "19/5/2007", "text": """قال متحدث باسم الحكومة المجرية: إن رئيس الوزراء فيرنك جيوركساني رحب بقرار اتحاد كرة القدم المجري بخصم ثلاث نقاط من نادي أوجبيست بسبب السلوك العنصري الذي صدر من جماهيره. وعاقب الاتحاد المجري فريق أوجبيست بعد أن سخرت جماهيره من إبراهيم سيديبي مهاجم فريق ديبرينسين الأسود أثناء مباراة الفريقين أوائل مايو الجاري. يذكر أن الاتحاد فرض أيضا غرامة مالية قدرها 20 ألف دولار علي أوجبيست في عام 2005 بعد أن رددت جماهيره شعارات معادية للسامية خلال مباراة بالدوري المجري. وأوضح جيوركساني في خطاب إلي إيستفان كيستليكي رئيس الاتحاد المجري لكرة القدم، أن هذا السلوك العنصري من الجماهير «جلب العار لكرة القدم وللمجر». يذكر أن المجر بها مجموعة من مشجعي كرة القدم المشاغبين «الهوليجانز»، وشارك الكثير منهم في أعمال شغب معادية للحكومة في العام الماضي.""" }
数据字段
数据字段包括：
- "url": 字符串，文章的原始URL
- "head_line": 字符串，文章的标题
- "date": 字符串，文章的日期
- "text": 字符串，文章的文本内容
数据分割
所有配置子集只有一个 "训练" 分割，包含以下数量的示例：
| 配置名称 | 示例数量 |
|---|---|
| Alittihad | 349342 |
| Almasryalyoum | 291723 |
| Almustaqbal | 446873 |
| Alqabas | 817274 |
| Echoroukonline | 139732 |
| Ryiadh | 858188 |
| Sabanews | 92149 |
| SaudiYoum | 888068 |
| Techreen | 314597 |
| Youm7 | 1172136 |
数据集创建
策划理由
[更多信息需补充]
源数据
初始数据收集和规范化
[更多信息需补充]
源语言生产者是谁？
[更多信息需补充]
注释
注释过程
[更多信息需补充]
注释者是谁？
[更多信息需补充]
个人和敏感信息
[更多信息需补充]
使用数据的注意事项
数据集的社会影响
[更多信息需补充]
偏见的讨论
[更多信息需补充]
其他已知限制
[更多信息需补充]
附加信息
数据集策展人
[更多信息需补充]
许可信息
[更多信息需补充]
引用信息
@article{el20161, title={1.5 billion words arabic corpus}, author={El-Khair, Ibrahim Abu}, journal={arXiv preprint arXiv:1611.04033}, year={2016} }
贡献
感谢 @zaidalyafeai 和 @albertvillanova 添加此数据集。
