princeton-nlp/SWE-bench_oracle
收藏Hugging Face2024-04-15 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/princeton-nlp/SWE-bench_oracle
下载链接
链接失效反馈官方服务：
资源简介：
SWE-bench_oracle数据集用于测试系统自动解决GitHub问题的能力。该数据集收集了来自12个流行Python项目的2,294个Issue-Pull Request对。评估通过使用PR后的行为作为参考解决方案的单元测试验证进行。数据集的结构包括多个特征，如instance_id、text、patch等，每个特征都有详细的描述。数据集支持的任务是提供完整仓库和GitHub问题的解决方案，并且提供了一个排行榜。数据集的文本主要是英文，但未进行语言类型的过滤或清理。
提供机构：
princeton-nlp
原始信息汇总
数据集概述
名称：SWE-bench
目的：测试系统自动解决GitHub问题的能力。
数据组成：收集了2,294对Issue-Pull Request（问题-拉取请求）。
来源：数据来源于12个流行的Python项目。
评估方法：通过单元测试验证，使用拉取请求后的行为作为参考解决方案。
