Comparison in capability with HumanEval benchmark for generative AI programs 2023

Statista2026-04-25 收录

代码生成模型评估

生成式AI能力对比

数据链接：

https://www.statista.com/statistics/1447778/humaneval-benchmark-comparison-of-major-ai-programs/数据链接链接失效反馈

官方服务：

资源简介：

HumanEval benchmark comparison between major generative artificial intelligence (AI) programs in 2023

STUDENTEVAL

编程学习

代码生成模型评估

STUDENTEVAL是一个由东北大学、韦尔斯利学院和奥伯林学院的学生创建的数据集，包含1749个初学者编写的Python编程问题提示，用于评估大型代码语言模型。该数据集通过学生与Code LLM的交互式工作创建，旨在解决现有基准测试中专家提示与初学者需求不匹配的问题。STUDENTEVAL通过提供多样化的提示，帮助评估模型在处理不同技能水平提示时的表现，特别关注于教育领域中代码生成模型的应用和教

arXiv2023-06-08 更新2640

Nutanix/cpp_unittests_llama3_vs_llama3.1_alignmentdata_judge_gpt.csv

代码生成模型评估

单元测试性能对比

--- dataset_info: features: - name: Code dtype: string - name: Unit Test_llama3 dtype: string - name: Unit Test_llama3.1 dtype: string - name: Unit Test dtype: string - nam

Hugging Face2024-08-27 更新60

CodeRouterBench

代码生成模型评估

模型路由优化

CodeRouterBench是一个基准数据集，与Agent-as-a-Router方法一同发布，专门用于代码相关任务的模型路由评估。其核心数据单元是一个完整的任务-模型结果矩阵，每个基准任务记录了八个典型后端模型的性能结果。数据集包含分布内（ID）和分布外（OOD）两种任务类型，主要文件包括长格式的CSV结果文件（如id_results_long.csv、ood176_results_long.

Hugging Face2026-06-23 更新30

Nutanix/cpp_unit_tests_llama8b_vs_llama8b_aligned_judge_gpt

代码生成模型评估

测试生成

--- dataset_info: features: - name: Code dtype: string - name: Unit Test_llama-8b dtype: string - name: Unit Test_llama-8b-aligned dtype: string - name: Unit Test dtype: stri

Hugging Face2024-08-15 更新80

AISE-TUDelft/babel_el22222

代码生成模型评估

代码注释分析

--- dataset_info: features: - name: Column1 dtype: string - name: content dtype: string - name: repo dtype: string - name: path dtype: string - name: token_length dtype

Hugging Face2024-11-09 更新30

Comparison in capability with HumanEval benchmark for generative AI programs 2023

资源简介：

相关数据集