scandukuri/humaneval-patch

openai_humaneval数据集包含各种形式的单行错误代码解决方案。这些错误是通过Python中的抽象语法树（AST）随机替换函数体中的变量、函数和表达式生成的。数据集包含两个子集：control和print。control子集通过随机替换生成316个错误解决方案，而print子集则是在control子集的基础上，通过手动添加和GPT-4生成的打印语句来帮助调试错误代码，并选择修复准确率最高的打印语句。

原始信息汇总

openai_humaneval 数据集概述

数据集描述

openai_humaneval 数据集包含在解决方案中引入的各种形式的一行错误。这些错误是通过使用Python的抽象语法树（ASTs）随机采样函数体中的变量、函数和表达式，并将它们分别替换为其他变量、函数和表达式而生成的。

数据集结构

数据集包含两个部分：control 和 print。

control 部分

• 生成过程：
  1. 从 openai_humaneval 数据集中选择一个解决方案 i 和一个扰动类型 t（{variable, expression, function}）。
  2. 构建解决方案 i 的抽象语法树。
  3. 通过随机替换类型为 t 的节点 n 为另一个类型为 t 的节点 n，生成一个错误的解决方案 i。
  4. 如果 i 是一个新的不正确解决方案且评估无误，则将其添加到数据集中，并处理下一个问题。
  5. 重复步骤2至3，最多尝试100次，如果未找到有效解决方案，则跳过该对 (i, t)。
• 结果：最终生成316个新的错误解决方案，构成 control 部分。

print 部分

• 生成过程：
  1. 从 control 部分选择30个错误解决方案（每种类型 t 10个）。
  2. 为每个错误解决方案 j 从30个手动打印语句中采样3个专家打印语句。
  3. 使用GPT-4为每个错误解决方案 j 插入类似的打印语句。
  4. 为每个问题生成20个不同的打印插入 p。
  5. 使用 mistralai/Mixtral-8x7B-Instruct-v0.1 选择修复准确率最高的打印插入 p。
  6. 保留与最高修复准确率关联的打印插入 p。
• 结果：最终生成316个错误解决方案，每个解决方案都插入了一个 mixtral-optimal 打印语句，构成 print 部分。