CodeXGLUE

CodeXGLUE 是代码智能的基准数据集和公开挑战。它包括一组代码智能任务和一个用于模型评估和比较的平台。 CodeXGLUE 代表 CODE 的通用语言理解评估基准。它包括 14 个数据集，用于 10 种多样化的代码智能任务，涵盖以下场景： 代码-代码（克隆检测、缺陷检测、完形填空测试、代码完成、代码修复和代码到代码转换） 文本代码（自然语言代码搜索，文本到代码生成） 代码文本（代码摘要） text-text（文档翻译） 图中提供了 CodeXGLUE 的简要总结，包括任务、数据集、语言、各种状态下的大小、基线系统、提供程序以及每个任务的简短定义。以蓝色突出显示的数据集是新引入的。

CodeXGLUE is a benchmark dataset and open challenge for code intelligence. It includes a suite of code intelligence tasks and a platform for model evaluation and comparison. CodeXGLUE is an acronym for **C**ode **O**n **G**eneral **L**anguage **U**nderstanding **E**valuation benchmark. It encompasses 10 diverse code intelligence tasks with 14 datasets, covering the following scenarios: Code-Code (clone detection, defect detection, cloze test, code completion, code repair, and code-to-code translation), Text-Code (natural language code search, text-to-code generation), Code-Text (code summarization), and Text-Text (document translation). A brief summary of CodeXGLUE is provided in the accompanying figure, including tasks, datasets, supported languages, sizes under various conditions, baseline systems, contributing providers, and concise definitions for each task. Datasets highlighted in blue are newly introduced.

搜集汇总

背景与挑战

背景概述

CodeXGLUE是一个用于代码理解和生成的机器学习基准数据集，包含14个数据集和10种代码智能任务，适用于多种代码相关场景的评估和比较。