gem

GEM旨在提供一个自然语言生成的基准环境，专注于通过人工标注和自动指标进行评估。它涵盖了13个数据集，跨越多种自然语言生成任务和语言。GEM提供数据和模型的深入分析，并致力于开发生成文本评估的标准。数据集内容包括文本摘要、结构化数据到文本的生成、文本简化和对话等多种类型，规模从数千到数十万不等。标注信息包含目标文本和参考文本。数据主要来源于众包和已有的数据集。GEM支持文本填充、摘要生成、表格到文本生成、文本生成以及文本到文本生成等任务。数据集采用CC-BY-SA-4.0授权许可。