google/xtreme

XTREME数据集是一个多语言数据集，支持多种语言，包括非洲语、阿拉伯语、保加利亚语、孟加拉语、德语、希腊语、英语、西班牙语、爱沙尼亚语、巴斯克语、波斯语、芬兰语、法语、希伯来语、印地语、匈牙利语、印尼语、意大利语、日语、爪哇语、格鲁吉亚语、哈萨克语、韩语、马拉雅拉姆语、马拉地语、马来语、缅甸语、荷兰语、葡萄牙语、俄语、斯瓦希里语、泰米尔语、泰卢固语、泰语、他加禄语、土耳其语、乌尔都语、越南语、约鲁巴语和中文。该数据集适用于多种NLP任务，如多项选择问答、抽取式问答、开放域问答、自然语言推理、命名实体识别和词性标注。XTREME数据集基于多个扩展的源数据集，如XNLI、PAWS-X、WikiAnn、XQuAD、MLQA、TyDiQA、Tatoeba和SQuAD，并提供了多种配置，涵盖了不同语言和任务的组合。

原始信息汇总

数据集概述

基本信息

• 名称: XTREME
• 语言: 支持多种语言，包括但不限于英语、中文、阿拉伯语、德语、西班牙语等。
• 许可证: 包含多种许可证，如Apache-2.0、CC-BY-4.0、CC-BY-2.0、CC-BY-SA-4.0、其他、CC-BY-NC-4.0。
• 多语言性: 多语言和翻译支持。

数据集大小

• 规模: 分为多个级别，包括小于1K、1K到10K、10K到100K、100K到1M。

数据来源

• 源数据集: 包括但不限于MLQA、PAWS-X、WikiANN、XQuAD、MLQA、Tydiqa、Tatoeba、SQuAD等。

任务类型

• 任务类别: 包括多项选择、问答、令牌分类、文本分类、文本检索、令牌分类。
• 具体任务: 包括多项选择QA、抽取式QA、开放领域QA、自然语言推理、命名实体识别、词性标注等。

配置名称

• 配置详情: 包括多种语言对的配置，如MLQA.ar.ar、MLQA.ar.de、MLQA.ar.en等，涵盖了多种语言之间的互译和QA任务。

数据集结构

• 特征: 每个数据集配置包含ID、标题、上下文、问题和答案等特征。
• 分割: 数据集通常分为测试集和验证集，每个分割包含不同数量的示例和字节数。

示例数据量

• 测试集: 示例数量从几百到几千不等。
• 验证集: 示例数量通常较少，从几十到几百不等。

下载和数据集大小

• 下载大小: 每个配置的下载大小从几十万字节到几百万字节不等。
• 数据集大小: 每个配置的数据集大小从几百万字节到几千万字节不等。