HumanEval-XL
收藏arXiv2024-03-24 更新2024-06-21 收录
下载链接：
https://github.com/FloatAI/humaneval-xl
下载链接
链接失效反馈官方服务：
资源简介：
HumanEval-XL是一个大规模多语言代码生成基准，由哥本哈根大学和百度公司共同创建。该数据集包含22,080个提示，涵盖23种自然语言和12种编程语言，旨在评估多语言大型语言模型在跨语言自然语言泛化方面的能力。数据集通过确保多种自然语言和编程语言之间的平行数据，提供了一个全面的评估平台。创建过程涉及使用GPT-4进行文本提取、翻译和质量检查，确保数据的高质量和多样性。该数据集主要用于解决多语言环境下代码生成的挑战，评估模型对不同语言的理解和转换能力。
提供机构：
哥本哈根大学
创建时间：
2024-02-27
