SWE Bench Verified

kaggle2024-08-20 更新2024-10-26 收录

下载链接：

https://www.kaggle.com/datasets/harrywang/swe-bench-verified

下载链接

链接失效反馈

官方服务：

资源简介：

Evaluates AI model's ability to solve real-world software issues

评估人工智能模型解决现实世界软件问题的能力

创建时间：

2024-08-20

SWE-bench/SWE-bench_Verified

SWE-bench Verified是一个包含500个样本的SWE-bench测试集的子集，这些样本已经过人工验证以确保质量。该数据集用于测试系统自动解决GitHub问题的能力，包含了来自流行Python仓库的500个测试性问题Issue-Pull Request对。数据集主要包含问题陈述和基准提交信息，用于在给定完整仓库和GitHub问题时进行问题解决任务的评估。

Hugging Face2026-02-27 更新160

SWE-bench_Verified

SWE-bench Verified是SWE-bench测试集的一个子集，包含500个人工验证的样本，用于测试系统自动解决GitHub问题的能力。

AI_Studio2025-08-28 更新00

SWE-bench_Verified

SWE-bench Verified是SWE-bench测试集的一个子集，包含500个经过人工验证的样本，用于测试系统自动解决GitHub问题的能力。该数据集收集了来自流行Python仓库的500个测试问题-拉取请求对，评估通过使用拉取请求后的行为作为参考解决方案的单元测试验证进行。原始SWE-bench数据集是作为SWE-bench: Can Language Models Resolve Re

Hugging Face2025-12-09 更新540

SWE-bench/SWE-bench_Not_Verified

该数据集包含关于代码补丁的信息，如补丁的创建时间、版本、失败转成功和成功转成功的情况等。具体应用场景和详细内容在README中未提供。

Hugging Face2025-09-16 更新90

SWE-Bench Verified

该数据集包含了从更大的SWE-Bench数据集中筛选出的500个经过人工验证的样本，专注于评估软件开发中由代理生成的补丁。每个样本都包括仓库标识符、基础提交、问题描述以及由仓库开发者创建的黄金补丁。该数据集规模为SWE-Bench数据集中2200个样本中的500个，其任务是评估由软件开发代理生成的补丁对代码质量的影响。

arXiv580