princeton-nlp/LLMBar

Name: princeton-nlp/LLMBar
Creator: princeton-nlp
Published: 2024-03-04T19:09:19+08:00

Hugging Face2023-10-29 更新2024-03-04 收录

数据链接：

https://hf-mirror.com/datasets/princeton-nlp/LLMBar 数据链接链接失效反馈

官方服务：

资源简介：

--- license: mit ---

--- 许可证：MIT许可证（MIT License） ---

提供机构：

princeton-nlp

原始信息汇总

数据集许可证

许可证类型: MIT

princeton-nlp/SWE-bench_Lite_oracle

代码修复

自动化测试

SWE-bench是一个测试系统自动解决GitHub问题能力的数据集。该数据集收集了来自11个流行Python项目的300个测试Issue-Pull Request对。评估通过使用PR后行为作为参考解决方案的单元测试验证进行。数据集以“Oracle”检索设置格式化每个实例，`text`列可直接用于语言模型生成补丁文件。模型被指示使用特定模板生成补丁格式文件。

Hugging Face2024-04-15 更新680

princeton-nlp/SWE-bench_Lite_bm25_27K

软件工程

自动化问题解决

SWE-bench Lite是SWE-bench的一个子集，用于测试系统自动解决GitHub问题的能力。该数据集收集了来自11个流行Python项目的300个测试Issue-Pull Request对。评估通过单元测试验证进行，使用PR后的行为作为参考解决方案。数据集还包括使用Pyserini的BM25检索格式化的每个实例，代码上下文大小限制为27,000个`cl100k_base`标记。`tex

Hugging Face2024-04-15 更新590

princeton-nlp/SWE-bench_bm25_50k_llama

软件工程

自动化问题解决

SWE-bench是一个测试系统自动解决GitHub问题能力的数据集。该数据集收集了来自12个流行Python项目的2,294个Issue-Pull Request对。评估通过单元测试验证进行，使用PR后的行为作为参考解决方案。数据集的结构包括多个字段，如instance_id、patch、repo等，每个字段都有详细的描述。

Hugging Face2024-04-15 更新250

princeton-nlp/SWE-bench_bm25_27k_cl100k

软件工程

自动化问题解决

SWE-bench是一个用于测试系统自动解决GitHub问题的数据集，收集了来自12个流行Python仓库的2,294个Issue-Pull Request对。该数据集通过单元测试验证进行评估，使用PR后的行为作为参考解决方案。数据集包含多种特征，如提交哈希、补丁和问题描述，并支持一个新的任务：提供完整仓库和GitHub问题以解决问题。数据集文本主要为英文。

Hugging Face2024-04-15 更新670

princeton-nlp/SWE-bench_oracle_cl100k

自动化代码修复

软件工程

SWE-bench是一个用于测试系统自动解决GitHub问题能力的数据集。该数据集收集了来自12个流行Python项目的2,294个Issue-Pull Request对，并通过单元测试验证来评估系统的性能。数据集的每个实例包含多个特征，如instance_id、patch、repo、base_commit等，这些特征详细描述了GitHub问题的解决过程。数据集的主要语言是英语，但未进行语言过滤或

Hugging Face2024-04-15 更新380

princeton-nlp/LLMBar

资源简介：

数据集许可证

相关数据集