premio-ai/TheArabicPile_Poetry

The Arabic Pile是一个专注于阿拉伯语的综合性数据集，旨在与The Pile和The Nordic Pile的结构相平行。该数据集涵盖了现代标准阿拉伯语（MSA）以及多种黎凡特、北非和埃及方言，适用于大型语言模型的训练和微调。数据集包含13个子集，每个子集针对不同的语言领域，如诗歌、社交媒体、医学等。数据集分为原始子集和去重子集，原始子集包含未经修改的原始数据，而去重子集经过过滤和清理，减少了冗余和噪声。数据集采用CC BY-NC 4.0许可，禁止商业用途。

原始信息汇总

数据集概述

数据集信息

• 语言: 阿拉伯语
• 许可证: CC BY-NC 4.0（非商业用途）
• 任务类别: 文本生成

配置详情

• dedup 配置

  • 特征:
    • 名称: text
    • 数据类型: string
  • 分割:
    • 名称: train
    • 字节数: 311172546
    • 样本数: 61085
  • 下载大小: 154601576
  • 数据集大小: 311172546
  • 数据文件:
    • 分割: train
    • 路径: dedup/train-*

• original 配置

  • 特征:
    • 名称: text
    • 数据类型: string
  • 分割:
    • 名称: train
    • 字节数: 287936720
    • 样本数: 61591
  • 下载大小: 152946428
  • 数据集大小: 287936720
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集描述

• 创建者: Premio.AI 团队
• 语言: 阿拉伯语，翻译数据集包含多种语言。
• 许可证: CC BY-NC 4.0（非商业用途）
• 商业用途: 请联系 [e-mail]

数据结构

• 原始子集: 从来源收集的原始数据，未经修改。
• 去重子集: 经过过滤和清洗的版本，通过减少冗余和噪声提高大型语言模型的可用性。

数据格式

• 列: text
• 内容: 包含所需的元数据和主体部分，以适应直接训练或微调大型语言模型。

潜在偏差

• 方言不平衡: 数据集包含多种阿拉伯方言，但可能存在方言表示的差异。
• 来源影响: 原始数据来源的偏差可能转移到数据集中。
• 社交媒体上下文: 社交媒体数据可能引入在线讨论中的偏差。
• 类型和领域偏差: 不同子集服务于不同的语言领域，可能基于所代表的类型产生偏差。

许可证信息

• 许可证: CC BY-NC 4.0（非商业用途）
• 要点:
  • 署名 (BY): 用户可以自由分享、改编和构建数据集，只要提供适当的署名。
  • 非商业 (NC): 数据集不得用于商业目的。
  • 无额外限制: 只要遵守署名和非商业用途条款，许可证允许最大程度的自由使用。

引用

• 引用格式:

  @article{alrefaie2024arabicpile, author = {Mohamed Taher Alrefaie, Mahmoud Ibrahim Barbary, Ahmed Yasser Hassanein, Shiref Khaled Elhalawany, Karim Ashraf Elsayed, Ahmed Yasser }, title = {The Arabic Pile: A Large Scale Dataset of Diverse Text for Large Language Modeling}, year = {2024}, url = {https://huggingface.co/datasets/premio-ai/TheArabicPile} }