humanevalpack

HumanEvalPack旨在扩展OpenAI的HumanEval，覆盖6种编程语言的3种任务场景。它提供Python、JavaScript、Java、Go、C++和Rust等多种语言的数据，其中Python部分与OpenAI的Python HumanEval完全一致。数据集中包含任务ID、提示词、函数声明、标准解答、带缺陷的解答及其缺陷类型、入口点、必要的导入信息、单元测试、函数签名、文档字符串以及指令等字段。此数据集可用于代码生成模型的指令调优和评估，并提供标准化数据操作。数据集基于MIT许可发布。