humaneval-x

HumanEval-X是一个用于评估代码生成模型多语言能力的基准。它包含820个高质量的人工数据样本，涵盖Python、C++、Java、JavaScript和Go五种编程语言，每个样本都带有测试用例。该数据集支持代码生成和翻译等多种任务，并提供标准化数据操作，用户可以指定编程语言子集进行加载。数据集中的字段包括任务ID、提示、声明、标准解决方案、测试用例和示例测试用例。该数据集采用Apache 2.0授权许可。