microsoft/xglue

XGLUE 是一个新的基准数据集，用于评估跨语言预训练模型在跨语言自然语言理解和生成任务中的表现。XGLUE 包含 11 个任务，涵盖 19 种语言。对于每个任务，训练数据仅以英语提供，这意味着要在 XGLUE 上取得成功，模型必须具备强大的零样本跨语言迁移能力，能够从特定任务的英语数据中学习并将其迁移到其他语言。与同期工作 XTREME 相比，XGLUE 有两个特点：首先，它同时包含跨语言自然语言理解（NLU）和跨语言自然语言生成（NLG）任务；其次，除了包含 5 个现有的跨语言任务（即 NER、POS、MLQA、PAWS-X 和 XNLI），XGLUE 还从 Bing 场景中选择了 6 个新任务，包括新闻分类（NC）、查询广告匹配（QADSM）、网页排名（WPR）、问答匹配（QAM）、问题生成（QG）和新闻标题生成（NTG）。这种语言、任务和任务来源的多样性为量化预训练模型在跨语言自然语言理解和生成任务上的质量提供了一个全面的基准。

原始信息汇总

数据集概述

名称: XGLUE

语言: 支持多种语言，包括阿拉伯语（ar）、保加利亚语（bg）、德语（de）、希腊语（el）、英语（en）、西班牙语（es）、法语（fr）、印地语（hi）、意大利语（it）、荷兰语（nl）、波兰语（pl）、葡萄牙语（pt）、俄语（ru）、斯瓦希里语（sw）、泰语（th）、土耳其语（tr）、乌尔都语（ur）、越南语（vi）、中文（zh）。

许可证: 其他（Licence Universal Dependencies v2.5）

多语言性: 多语言（multilingual）和翻译（translation）

大小类别:

• 10K<n<100K
• 100K<n<1M

源数据集:

• 扩展自 conll2003
• 扩展自 squad
• 扩展自 xnli
• 原始数据

任务类别:

• 问答
• 摘要
• 文本分类
• 文本到文本生成
• 令牌分类

任务ID:

• acceptability-classification
• extractive-qa
• named-entity-recognition
• natural-language-inference
• news-articles-headline-generation
• open-domain-qa
• parsing
• topic-classification

配置名称:

• mlqa
• nc
• ner
• ntg
• paws-x
• pos
• qadsm
• qam
• qg
• wpr
• xnli

数据集结构

数据实例

ner

示例（test.nl）: json { "ner": [ "O", "O", "O", "B-LOC", "O", "B-LOC", "O", "B-LOC", "O", "O", "O", "O", "O", "O", "O", "B-PER", "I-PER", "O", "O", "B-LOC", "O", "O" ],

pos

示例（test.en）: json { "pos": [ "ADJ", "ADP", "ADV", "AUX", "CCONJ", "DET", "INTJ", "NOUN", "NUM", "PART", "PRON", "PROPN", "PUNCT", "SCONJ", "SYM", "VERB", "X" ],

mlqa

示例（test.en）: json { "context": "...", "question": "...", "answers": [ { "answer_start": 123, "text": "..." } ] }

nc

示例（test.en）: json { "news_title": "...", "news_body": "...", "news_category": "foodanddrink" }

xnli

示例（test.en）: json { "premise": "...", "hypothesis": "...", "label": "entailment" }

paws-x

示例（test.en）: json { "sentence1": "...", "sentence2": "...", "label": "same" }

qadsm

示例（test.en）: json { "query": "...", "ad_title": "...", "ad_description": "...", "relevance_label": "Good" }

wpr

示例（test.en）: json { "query": "...", "web_page_title": "...", "web_page_snippet": "...", "relavance_label": "Perfect" }

qam

示例（test.en）: json { "question": "...", "answer": "...", "label": "True" }

qg

示例（test.en）: json { "answer_passage": "...", "question": "..." }

ntg

示例（test.en）: json { "news_body": "...", "news_title": "..." }

搜集汇总

数据集介绍

构建方式

XGLUE是由微软构建的跨语言自然语言理解与生成基准数据集，旨在评估预训练模型在零样本跨语言迁移场景下的表现。该数据集整合了11项任务，涵盖19种语言。其构建方式独具匠心：所有任务的训练数据均仅提供英文版本，而验证集与测试集则覆盖多种语言。数据来源包括已有的跨语言任务（如NER、POS、MLQA、PAWS-X、XNLI）以及从Bing实际场景中选取的6项新任务（如新闻分类、查询-广告匹配、网页排序等）。标注方式融合了众包、专家生成、现有语料复用及自动生成等多种途径，确保了数据的高质量与多样性。

特点

XGLUE的核心特点在于其全面性与挑战性。它同时囊括了跨语言自然语言理解（如命名实体识别、问答匹配）与自然语言生成（如问题生成、新闻标题生成）两大类任务，为模型评估提供了多维度的视角。数据集覆盖19种语言，包含英语、德语、阿拉伯语、中文等广泛语种，充分考验模型的跨语言泛化能力。此外，每项任务的验证集和测试集均包含多种语言，而训练集仅限英文，这种设计强制要求模型具备强大的零样本跨语言迁移能力，从而有效衡量预训练模型在多语言环境下的真实表现。

使用方法

使用XGLUE数据集时，研究者需针对每项任务在英文训练数据上对跨语言预训练模型进行微调。具体而言，可通过Hugging Face Datasets库加载对应配置（如'ner'、'xnli'等），获取英文训练集进行模型训练。训练完成后，利用多语言验证集和测试集评估模型在未见语言上的泛化性能。评估指标因任务而异，例如NER任务采用F1分数，文本分类任务使用准确率。最终，可通过XGLUE官网的排行榜提交结果，获取理解分数（9项任务平均）与生成分数（2项任务平均），以全面衡量模型的跨语言能力。

背景与挑战

背景概述

XGLUE是由微软研究院于2020年提出的跨语言自然语言处理基准数据集，旨在全面评估预训练模型在跨语言理解与生成任务上的零样本迁移能力。该数据集汇聚了11项覆盖19种语言的任务，其核心研究问题在于衡量模型仅从英文训练数据中学习后，能否将知识有效迁移至其他语言。作为与XTREME同期的工作，XGLUE的独特之处在于首次将跨语言自然语言理解（NLU）与生成（NLG）任务纳入同一基准，并引入了6个来自Bing实际场景的新任务，如新闻分类、查询-广告匹配和网页排序。这一设计极大丰富了对模型跨语言泛化能力的评估维度，推动了多语言预训练技术的进步，为后续研究如mT5和XLM-R提供了重要的性能验证平台。

当前挑战

XGLUE所解决的领域核心挑战在于跨语言零样本迁移学习，即模型需在仅接触英文训练数据的情况下，精准处理其他18种语言的多样化任务，这要求模型具备卓越的语言无关表征能力。构建过程中，挑战尤为突出：首先，需确保11个任务的数据在19种语言间保持语义一致性和标注标准统一，例如命名实体识别（NER）和词性标注（POS）的标签体系需跨语言对齐；其次，从Bing场景选取的6个新任务（如查询-广告匹配）涉及真实用户数据，其标注需兼顾隐私保护与商业敏感性，且需通过众包与专家结合的方式生成高质量标注；此外，生成任务（如新闻标题生成）的评估需要设计自动与人工结合的指标，以应对跨语言文本生成的语义保真度难题。

常用场景

经典使用场景

XGLUE作为跨语言预训练模型的标杆性评测基准，其核心应用场景在于系统性评估模型在零样本跨语言迁移能力上的表现。该数据集涵盖命名实体识别、词性标注、自然语言推理、问答匹配等11项经典任务，横跨19种语言，且训练数据仅提供英文版本。研究者通过对模型在英文数据上进行微调，而后直接评估其在其他语言验证集与测试集上的泛化性能，从而精准衡量预训练模型在跨语言理解与生成两大维度上的综合实力。这种设计使得XGLUE成为检验多语言预训练技术能否真正突破语言壁垒、实现知识迁移的关键试金石。

解决学术问题

XGLUE的构建有效填补了跨语言自然语言处理领域缺乏统一、全面评测体系的空白。此前，跨语言模型的研究常因任务与语言覆盖范围有限而难以进行横向比较，且多数基准仅聚焦于理解任务，忽略了生成能力的评估。XGLUE通过同时纳入理解与生成任务，并引入来自真实场景的新闻分类、网页排序等全新子任务，为学术界提供了一个兼具广度与深度的评估框架。这一基准的提出，使得研究者能够系统性地诊断模型在不同语言与任务上的迁移瓶颈，从而推动跨语言预训练技术的理论突破与方法创新。

衍生相关工作

XGLUE的发布催生了一系列围绕跨语言模型改进与评测的经典工作。其中，以XLM-R、mT5为代表的多语言预训练模型在XGLUE上进行了系统性的性能评估，其研究结果直接推动了模型架构与训练策略的优化。此外，基于XGLUE的评测结果，研究者提出了多种增强零样本迁移能力的方法，如对抗性训练、语言无关表征学习以及跨语言知识蒸馏等。这些工作在XGLUE基准上的验证，不仅证实了各自方法的有效性，也进一步丰富了跨语言自然语言处理的理论体系，为后续研究奠定了坚实的实验基础。