mxeval/mathqa-x

该数据集用于多语言代码生成模型的执行评估，包含多语言基准MBXP、多语言MathQA和多语言HumanEval。数据集的结构包括任务ID、提示、规范解决方案、描述、测试、入口点和编程语言标识符。数据集支持Python、Java和JavaScript等多种编程语言。

This dataset is intended for execution evaluation of multilingual code generation models, and encompasses three multilingual benchmarks: MBXP, MathQA, and HumanEval. The dataset's structure includes task ID, prompt, canonical solution, description, test cases, entry point, and programming language identifier. It supports multiple programming languages such as Python, Java, and JavaScript.

原始信息汇总

数据集概述

数据集名称

• MBXP

许可证

• Apache-2.0

任务类别

• 文本生成

语言

• 英语

标签

• mathqa-x
• mathqa
• mxeval

数据集大小

• 1K<n<10K

数据集描述

• 数据集概要

  • 包含用于执行基于代码生成能力的多语言评估的数据和代码，包括多语言基准MBXP、多语言MathQA和多语言HumanEval。

• 相关任务和排行榜

  • Multi-HumanEval
  • MBXP
  • MathQA-X

• 语言

  • 编程问题使用多种编程语言编写，包含英语自然文本在注释和文档字符串中。

数据集结构

• 数据实例

  • 示例包括任务ID、语言、提示、测试、入口点和规范解决方案。

• 数据字段

  • task_id: 数据样本的标识符
  • prompt: 包含函数头和文档字符串的模型输入
  • canonical_solution: prompt中问题的解决方案
  • test: 包含用于测试生成代码正确性的函数
  • entry_point: 测试的入口点
  • language: 调用适当子进程调用以执行程序的编程语言标识符

• 数据分割

  • MathQA-X
    • Python
    • Java
    • Javascript

数据集创建

• 数据集的社会影响
  • 通过此数据集，可以更好地评估代码生成模型，减少使用此类模型时引入的问题。