nuprl/MultiPL-E-synthetic-solutions

这是一个包含HumanEval和MBPP代码生成基准的部分解决方案的数据集，这些解决方案被翻译成18种以上的编程语言。原始基准问题是用Python编写的，数据集的构建过程如下：1. 使用MultiPL-E将提示翻译成新语言；2. 使用code-davinci-002在温度为0.8的情况下为每个问题生成200个完成；3. 为每个问题-语言对选择一个工作解决方案（如果存在）。需要注意的是，由于code-davinci-002无法为每个问题生成正确的解决方案，因此数据集并不包含所有问题-语言对的解决方案。

This is a dataset comprising partial solutions to the code generation benchmarks HumanEval and MBPP, translated into more than 18 programming languages. The original benchmark problems were written in Python. The dataset construction process is as follows: 1. Translate the prompts into target languages using MultiPL-E; 2. Generate 200 completions for each problem via code-davinci-002 with a temperature set to 0.8; 3. Select one valid working solution (if available) for each problem-language pair. It should be noted that this dataset does not cover solutions for all problem-language pairs, as code-davinci-002 cannot generate correct solutions for every individual problem.

原始信息汇总

数据集概述

数据集名称

• Pretty Name: MultiPL-E Synthetic Solutions

数据集特征

• 名称: name
  • 数据类型: string
• 语言: language
  • 数据类型: string
• 提示: prompt
  • 数据类型: string
• 解决方案: solution
  • 数据类型: string

数据集分割

• 训练集: train
  • 数据大小: 2185285 bytes
  • 示例数量: 2624

数据集大小

• 下载大小: 891673 bytes
• 总大小: 2185285 bytes

许可证

• 类型: openrail

语言支持

• 支持的语言: en