OpenHands/Devin-SWE-bench-output

Name: OpenHands/Devin-SWE-bench-output
Creator: OpenHands
Published: 2025-04-12T02:49:23+08:00

Hugging Face2024-03-21 更新2025-04-12 收录

AI软件工程

代码生成评估

数据链接：

https://hf-mirror.com/datasets/OpenHands/Devin-SWE-bench-output 数据链接链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

HumanEval是由代尔夫特理工大学的研究团队创建的软件工程领域AI基准数据集。该数据集主要用于评估大型语言模型在代码生成任务上的性能，包含多个子任务，如代码修复和代码解释。尽管有多个版本尝试扩展语言支持或改善测试覆盖范围，但原始数据集中的错误和不足仍未得到彻底解决。该数据集在AI和软件工程社区中广受欢迎，但存在测试不正确、测试覆盖不足、解决方案错误和问题描述不明确等问题。

arXiv2025-03-08 更新4890

SWE Bench Verified

AI软件工程

学生问题解决能力评估

Evaluates AI model's ability to solve real-world software issues

kaggle2024-08-20 更新120

DCAgent2/swebench_verified_random_100_folders_exp_rpt_stack_rust_10k_glm_4_7_traces_jupic84bfdfe

代码生成评估

软件工程智能体

--- dataset_info: features: - name: conversations list: - name: content dtype: string - name: role dtype: string - name: agent dtype: string - name: model dtype

Hugging Face2026-03-22 更新60

ioi-leaderboard/ioi-eval-openrouter_openai_o1

代码生成评估

多语言代码

该数据集包含了文本生成的相关信息，包括生成文本、代码、语言等信息。每个样本都有一些元数据，如时间戳、使用情况（包括完成令牌数、成本、提示令牌数和总令牌数）。数据集分为训练集，并提供了相关的字节数和示例数。数据集的总下载大小和存储大小也已给出。

Hugging Face2025-03-03 更新150

nuprl/agnostics-codeforces-cots

编程竞赛题目

代码生成评估

--- dataset_info: features: - name: idx dtype: int64 - name: source_id dtype: string - name: prompt dtype: string - name: response dtype: string - name: problem_statement

Hugging Face2026-03-13 更新110

OpenHands/Devin-SWE-bench-output

资源简介：

相关数据集