GEM (Generation, Evaluation, and Metrics)

GEM 是自然语言生成的基准环境，其重点是通过人工注释和自动化指标进行评估。 创业板旨在： 衡量跨语言的许多 NLG 任务的 NLG 进度。 审计数据和模型，并通过数据卡和模型稳健性报告呈现结果。 开发使用自动和人工指标评估生成文本的标准。 我们将定期更新 GEM，并通过扩展现有数据或开发其他语言的数据集来鼓励更具包容性的评估实践。