mxeval/mxeval

MxEval数据集是一个用于多语言代码生成模型执行评估的数据集。它包含多个编程语言的编程问题，并且问题中的注释和文档字符串使用英文自然文本。数据集支持的任务包括MBXP、Multi-HumanEval和MathQA-X。数据集的创建是为了评估代码生成模型的性能，确保这些模型在生成代码时不会引入问题。数据集的结构包括任务ID、语言、提示、测试、入口点等字段，并且数据被分割为不同的编程语言。

原始信息汇总

数据集概述

数据集基本信息

• 名称: MxEval
• 许可证: Apache-2.0
• 任务类别: text-generation
• 标签: mxeval, code-generation, mbxp, multi-humaneval, mathqax
• 语言: en

数据集结构

• 特征:
  • task_id: 字符串
  • language: 字符串
  • prompt: 字符串
  • test: 字符串
  • entry_point: 字符串
• 数据分割:
  • multilingual-humaneval_python: 164个样本，数据大小165716字节
• 下载大小: 67983字节
• 数据集大小: 165716字节

数据集内容

• 支持的任务和排行榜:
  • MBXP
  • Multi-HumanEval
  • MathQA-X
• 语言: 编程问题使用多种编程语言，包含英文自然文本

数据集实例

• 示例: python { "task_id": "MBSCP/6", "language": "scala", "prompt": "...", "test": "...", "entry_point": "differAtOneBitPos", "description": "Write a Scala function to check whether the two numbers differ at one bit position only or not." }

数据集字段

• task_id: 数据样本的标识符
• prompt: 包含函数头和文档字符串的模型输入
• canonical_solution: prompt中问题的解决方案
• description: 任务描述
• test: 包含用于测试生成的代码正确性的函数
• entry_point: 测试的入口点
• language: 调用适当子进程调用以执行程序的编程语言标识符

数据分割

• HumanXEval: Python, Java, JavaScript, Csharp, CPP, Go, Kotlin, PHP, Perl, Ruby, Swift, Scala
• MBXP: Python, Java, JavaScript, TypeScript, Csharp, CPP, Go, Kotlin, PHP, Perl, Ruby, Swift, Scala
• MathQA: Python, Java, JavaScript