bigscience/xP3

xP3（跨语言公共提示池）是一个包含46种语言和16个NLP任务的提示和数据集集合。它用于训练BLOOMZ和mT0等多语言模型，这些模型能够在零样本情况下在数十种语言中执行人类指令。数据集可以通过提供的指令重新创建，以节省处理时间并提高可重复性。数据集支持的语言包括ak、ar、as、bm、bn、ca、code、en、es、eu、fon、fr、gu、hi、id、ig、ki、kn、lg、ln、ml、mr、ne、nso、ny、or、pa、pt、rn、rw、sn、st、sw、ta、te、tn、ts、tum、tw、ur、vi、wo、xh、yo、zh、zu。数据集的结构包括输入和目标字段，数据实例展示了如何将输入转换为目标输出。数据集的创建过程包括从多个来源收集训练数据，并提供了详细的来源列表。数据集发布在Apache 2.0许可证下，并提供了引用信息。

原始信息汇总

数据集概述

数据集名称

• 名称: xP3 (Crosslingual Public Pool of Prompts)

数据集描述

• 概述: xP3是一个包含46种语言和16个NLP任务的提示和数据集集合，用于训练多语言语言模型，如BLOOMZ和mT0，这些模型能够在多种语言中进行零样本学习。
• 语言: 支持46种语言，可扩展。
• 编程语言: 支持C, C++, C#, Go, Java, JavaScript, Lua, PHP, Python, Ruby, Rust, Scala, TypeScript。
• 许可证: Apache-2.0
• 多语言性: 多语言
• 大小: 100M<n<1B
• 任务类别: 其他

数据集结构

• 数据实例: 包含inputs和targets两个字段。
• 数据字段: inputs为模型输入的自然语言，targets为模型需要生成的自然语言目标。
• 数据分割: 提供不同语言的数据大小和样本数量的详细统计。

数据集创建

• 来源数据: 包含多个训练和评估数据集，涉及多种NLP任务。
• 注释: 注释由专家生成和众包方式产生。

附加信息

• 许可证信息: 数据集根据Apache 2.0许可证发布。
• 引用信息: 提供BibTeX格式的引用信息。

数据集家族

• xP3x: 包含17个任务，277种语言，英语提示。
• xP3: 包含13个训练任务，46种语言，英语提示。
• xP3mt: 包含13个训练任务，46种语言，20种语言的机器翻译提示。
• xP3all: 包含xP3加上额外的3个评估任务，共16个任务，46种语言，英语提示。
• xP3megds: Megatron-DeepSpeed处理版本的xP3。
• P3: 重新处理的英语版本，包含8个训练任务。