M-A-D/ArabicDarija-xP3x

xP3x（跨语言公共提示池扩展）是一个包含277种语言和16个NLP任务的提示和数据集集合。它是xP3的扩展版本，用于训练未来的mT0和BLOOMZ模型。数据集可以通过提供的指令和脚本重新创建，以节省处理时间。xP3x数据集家族包括多个变体，如xP3、xP3mt、xP3all、xP3megds和P3，每个变体都有不同的任务和语言配置。

xP3x (Cross-lingual Public Prompt Pool Extended) is a collection of prompts and datasets covering 277 languages and 16 NLP tasks. As an extended variant of the original xP3 dataset, it is developed for training upcoming mT0 and BLOOMZ models. The dataset can be recreated via the provided instructions and scripts to reduce computational processing time. The xP3x dataset family includes multiple variants such as xP3, xP3mt, xP3all, xP3megds, and P3, each featuring distinct task and language configurations.

原始信息汇总

数据集描述

数据集概述

• 名称: ArabicDarija-xP3x
• 所属系列: xP3x
• 创建者: Muennighoff
• 用途: 用于训练未来版本的mT0 & BLOOMZ，项目Aya @C4AI

数据集详情

• 特征:
  • text: 字符串类型
  • language: 字符串类型
  • template: 字符串类型
  • dataset: 字符串类型
• 分割:
  • train: 包含308,250,831字节，1,223,481个样本
• 下载大小: 129,951,272字节
• 数据集大小: 308,250,831字节

配置

• 默认配置:
  • train 数据文件路径: data/train-*

相关信息

• 语言数量: 277
• xP3数据集系列:
  • xP3x: 包含17个任务，277种语言，英语提示
  • xP3: 包含13个训练任务，46种语言，英语提示
  • xP3mt: 包含13个训练任务，46种语言，20种语言的提示（机器翻译自英语）
  • xP3all: 包含16个任务，46种语言，英语提示
  • xP3megds: Megatron-DeepSpeed处理版本的xP3
  • P3: 重新处理的英语版本P3，包含8个训练任务