bigcode/humanevalpack|代码生成数据集|多语言编程数据集

HumanEvalPack是OpenAI的HumanEval的扩展，涵盖了6种编程语言（Python、JavaScript、Java、Go、C++、Rust）和3种任务。Python部分与OpenAI的Python HumanEval完全相同，其他部分由人工翻译并进行了额外的清理。数据集的结构包括数据实例、数据字段和数据分割。数据实例展示了具体的代码示例，数据字段描述了每个字段的含义。

原始信息汇总

数据集概述

数据集名称

• 名称：HumanEvalPack
• 许可证：MIT

数据集描述

数据集总结

• 概述：HumanEvalPack 是 OpenAI 的 HumanEval 数据集的扩展，涵盖了 6 种编程语言和 3 个任务。Python 部分的分割与 OpenAI 的 Python HumanEval 完全相同。其他部分的分割由人工翻译，并进行了额外的清理。
• 语言：Python, JavaScript, Java, Go, C++, Rust

数据集结构

数据实例

• 示例结构：每个数据实例包括任务ID、提示、函数声明、标准解决方案、错误解决方案、错误类型、失败症状、入口点、导入、测试设置、测试、示例测试、函数签名、文档字符串和指令。

数据字段

• 字段：任务ID、提示、函数声明、标准解决方案、错误解决方案、错误类型、失败症状、入口点、导入、测试设置、测试、示例测试、函数签名、文档字符串、指令。

数据集创建

来源数据

• 数据来源：扩展自 OpenAI 的 HumanEval，其他部分由人工翻译并清理。

注释

• 注释内容：包括错误解决方案、错误类型、失败症状等。

附加信息

许可证信息

• 许可证：MIT

引用信息

• 引用格式： bibtex @article{muennighoff2023octopack, title={OctoPack: Instruction Tuning Code Large Language Models}, author={Niklas Muennighoff and others}, journal={arXiv preprint arXiv:2308.07124}, year={2023} }