GEM/gem

GEM数据集是一个多语言数据集，涵盖捷克语、德语、英语、西班牙语、俄语、土耳其语和越南语等多种语言。它支持多种任务，如填空、摘要生成和文本生成。数据集来源于扩展的视觉数据集和原始数据源，包含单语和多语内容。数据集按大小分类，范围从1K到1M个示例。注释和语言内容通过众包、现有资源和机器生成创建。

原始信息汇总

数据集概述

数据集名称

• 名称: GEM
• 别名: 无

数据集创建者

• 标注创建者: 众包, 发现
• 语言创建者: 众包, 发现, 机器生成

数据集语言

• 支持语言: 捷克语, 德语, 英语, 西班牙语, 俄语, 土耳其语, 越南语

数据集许可证

• 许可证类型: 其他

多语言性

• 类型: 单语, 多语

数据集大小

• 大小范围: 1K<n<10K, 10K<n<100K, 100K<n<1M

数据集来源

• 来源类型: 扩展自其他视觉数据集, 原始

任务类别

• 任务类型: 填充掩码, 摘要, 表格到文本, 表格到文本, 文本生成, 文本到文本生成

任务ID

• 具体任务: 对话建模, RDF到文本, 新闻文章摘要, 文本简化

数据集信息

• 配置名称: mlsum_de, mlsum_es, wiki_lingua_es_en_v0, wiki_lingua_ru_en_v0, wiki_lingua_tr_en_v0, wiki_lingua_vi_en_v0, wiki_lingua_arabic_ar, wiki_lingua_chinese_zh, wiki_lingua_czech_cs, wiki_lingua_dutch_nl, wiki_lingua_english_en, wiki_lingua_french_fr, wiki_lingua_german_de, wiki_lingua_hindi_hi, wiki_lingua_indonesian_id, wiki_lingua_italian_it, wiki_lingua_japanese_ja, wiki_lingua_korean_ko, wiki_lingua_portuguese_pt, wiki_lingua_russian_ru, wiki_lingua_spanish_es, wiki_lingua_thai_th, wiki_lingua_turkish_tr, wiki_lingua_vietnamese_vi, xsum, common_gen, cs_restaurants, dart

数据集特征

• 特征: gem_id, gem_parent_id, text, topic, url, title, date, target, references
• 数据类型: 字符串, 整数, 布尔值

数据集分割

• 分割类型: 训练, 验证, 测试, 挑战训练样本, 挑战验证样本, 挑战测试Covid
• 示例数量: 根据不同配置变化
• 字节数: 根据不同配置变化

数据集下载和大小

• 下载大小: 根据不同配置变化
• 数据集大小: 根据不同配置变化

结论

GEM数据集是一个多语言、多任务的数据集，涵盖了从文本生成到摘要等多种自然语言处理任务，适用于多种语言和不同的数据规模。

搜集汇总

数据集介绍

构建方式

GEM数据集是一个大规模、多语种、多任务的自然语言生成基准集合，其构建方式体现了高度的系统性与多样性。该数据集整合了来自众包、已有资源及机器生成的多种数据源，涵盖了包括德语、西班牙语、俄语、越南语等在内的十余种语言。具体而言，它囊括了如MLSUM（多语种新闻摘要）、WikiLingua（基于WikiHow的跨语言摘要）、XSum（极端摘要）、CommonGen（常识生成）以及DART（数据到文本生成）等多个子数据集。每个子数据集均经过标准化处理，统一了特征字段（如gem_id、target、references），并提供了训练、验证、测试及多种挑战性测试集（如COVID、回译、无标点等），以系统评估模型在不同难度与场景下的泛化能力。

特点

GEM数据集的核心特点在于其卓越的多样性与挑战性。它覆盖了文本摘要、表格到文本、概念到文本、对话建模等多种任务类型，并引入了多语种与跨语言对齐的配置，如WikiLingua各语言版本均提供源语言与英语的对齐翻译。数据集规模从数千到数十万样本不等，适应不同研究需求。尤为突出的是，GEM为多个子集设计了专门的挑战性测试集，例如针对XSum的“backtranslation”与“bfp_02”测试，以及针对CommonGen的“scramble”测试，这些设计旨在暴露模型在噪声、结构变化或领域偏移下的鲁棒性。此外，数据集标注来源多元，融合了人工标注与自动生成，提升了数据覆盖面。

使用方法

使用GEM数据集时，研究者可通过HuggingFace Datasets库便捷加载，指定配置名称（如'mlsum_de'或'wiki_lingua_es_en_v0'）即可获取对应子集。每个配置均包含标准化的字段，如'text'与'target'用于监督学习，'references'支持多参考评估。建议使用提供的挑战性测试集（如challenge_test_covid）进行鲁棒性分析，或利用跨语言对齐数据训练多语言生成模型。评估时可采用ROUGE、BLEU等指标，并注意不同子集的任务特性，例如CommonGen需基于概念集合生成连贯句子，而DART则需将三元组转换为自然语言。数据集的分割设计支持从微调到零样本评估的全流程研究。

背景与挑战

背景概述

GEM（Generation, Evaluation, and Metrics）数据集是自然语言生成领域的一项里程碑式资源，由多位国际研究者于2020年联合构建，旨在系统性地评估文本生成模型在多样化任务和语言上的表现。该数据集整合了涵盖摘要生成、表格到文本转换、概念到文本生成等多项子任务，涉及英语、德语、西班牙语、中文等十余种语言，并引入具有挑战性的测试集（如COVID-19相关文本），以检验模型在分布外场景下的鲁棒性。GEM的发布为跨语言、多任务的生成模型提供了统一评测基准，推动了文本生成研究从单一任务向泛化能力的范式转变，其影响力在ACL、EMNLP等顶级会议中持续凸显。

当前挑战

GEM面临的核心挑战在于多语言、多任务场景下的泛化能力不足与评测标准不统一。首先，不同语言间资源分布极不均衡，如德语与越南语子集规模悬殊，导致模型在低资源语言上的生成质量难以保障。其次，构建过程中需处理异构数据源（如新闻、维基百科、对话系统）的格式对齐与噪声控制，例如MLSUM数据集需解决长文本摘要的语义压缩损失。此外，现有挑战测试集（如回译、标点移除、COVID-19领域迁移）揭示了模型对输入扰动和领域偏移的脆弱性，但缺乏针对生成文本事实一致性、多参考多样性等高级维度的系统性评估方案，制约了技术突破的精确诊断。

常用场景

经典使用场景

GEM数据集作为自然语言生成领域的基准测试平台，其经典使用场景涵盖多语言摘要、概念到文本生成以及表格到文本转换等核心任务。研究者常利用其包含的MLSum、XSum、CommonGen等子集，系统评估模型在新闻摘要、概念组合描述及结构化数据叙述等场景下的生成质量。该数据集通过提供多语言、多领域、多任务的数据配置，为文本生成技术的跨语言泛化能力与任务迁移效果提供了标准化评测框架。

衍生相关工作

GEM数据集催生了多项具有影响力的研究工作，包括基于多任务学习的跨语言摘要模型（如mT5在MLSum上的应用）、针对表格数据的结构化生成方法（如DART上的关系图编码器），以及面向概念组合的约束解码技术（CommonGen中的关键词引导生成）。此外，该数据集衍生的挑战赛与评测任务（如GEM Workshop）持续推动着文本生成领域的创新，涌现出诸如对比学习增强的鲁棒性生成、少样本跨任务迁移等前沿成果。

数据集最近研究

最新研究方向

GEM数据集作为自然语言生成领域的基准测试平台，当前研究前沿聚焦于多语言、多任务的生成质量评估与鲁棒性挑战。该数据集汇集了涵盖摘要生成、表格到文本、概念到文本等多样化的NLG任务，并提供了包括德语、西班牙语、中文等在内的丰富语种资源，为跨语言生成模型的泛化能力研究提供了坚实的数据基础。近期热点方向之一是利用GEM的挑战集（如COVID-19摘要、反向翻译、标点缺失等）来系统评估模型在分布外场景下的表现，从而推动生成式预训练模型在真实世界应用中的可靠性提升。此外，GEM所倡导的标准化评测协议与多参考评价体系，正引领着NLG领域从单一指标向更全面的语义忠实度与多样性评估范式转变，其影响力已延伸至对话系统、数据增强等关联领域，成为检验生成技术前沿进展的关键试金石。