SWE-Bench Verified

该数据集包含了从更大的SWE-Bench数据集中筛选出的500个经过人工验证的样本，专注于评估软件开发中由代理生成的补丁。每个样本都包括仓库标识符、基础提交、问题描述以及由仓库开发者创建的黄金补丁。该数据集规模为SWE-Bench数据集中2200个样本中的500个，其任务是评估由软件开发代理生成的补丁对代码质量的影响。

搜集汇总

背景与挑战

背景概述

SWE-Bench Verified是一个从SWE-Bench数据集中精选的500个人工验证样本的子集，专门用于评估软件开发中由代理生成的代码补丁的质量和效果。每个样本包含仓库标识符、基础提交、问题描述和开发者创建的黄金补丁，旨在支持代理生成补丁对代码质量影响的评估任务。