CodeXGLUE

CodeXGLUE 是代码智能的基准数据集和公开挑战。它包括一组代码智能任务和一个用于模型评估和比较的平台。 CodeXGLUE 代表 CODE 的通用语言理解评估基准。它包括 14 个数据集，用于 10 种多样化的代码智能任务，涵盖以下场景：
代码-代码（克隆检测、缺陷检测、完形填空测试、代码完成、代码修复和代码到代码转换）
文本代码（自然语言代码搜索，文本到代码生成）
代码文本（代码摘要）
text-text（文档翻译）
图中提供了 CodeXGLUE 的简要总结，包括任务、数据集、语言、各种状态下的大小、基线系统、提供程序以及每个任务的简短定义。以蓝色突出显示的数据集是新引入的。