princeton-nlp/SWE-bench_Lite_bm25_13K

SWE-bench Lite是SWE-bench的一个子集，用于测试系统自动解决GitHub问题的能力。该数据集收集了来自11个流行Python项目的300个测试Issue-Pull Request对。评估通过单元测试验证进行，使用PR后的行为作为参考解决方案。数据集还包括使用Pyserini的BM25检索格式化的每个实例，代码上下文大小限制为13,000个`cl100k_base`标记。数据集的主要用途是用于语言模型生成补丁文件，支持的任务是提供完整仓库和GitHub问题的解决方案。

原始信息汇总

数据集概述

数据集名称: SWE-bench Lite 数据集描述: SWE-bench Lite 是 SWE-bench 的一个子集，用于测试系统自动解决GitHub问题的能力。该数据集收集了来自11个流行Python项目的300个测试Issue-Pull Request对。评估通过单元测试验证进行，使用PR后的行为作为参考解决方案。

数据集特征

• instance_id: 字符串类型
• text: 字符串类型
• repo: 字符串类型
• base_commit: 字符串类型
• problem_statement: 字符串类型
• hints_text: 字符串类型
• created_at: 字符串类型
• patch: 字符串类型
• test_patch: 字符串类型
• version: 字符串类型
• FAIL_TO_PASS: 字符串类型
• PASS_TO_PASS: 字符串类型
• environment_setup_commit: 字符串类型

数据集分割

• dev: 23个示例，总大小1402179字节
• test: 300个示例，总大小18207667字节

数据集大小

• 下载大小: 8579282字节
• 数据集总大小: 19609846字节

配置文件

• config_name: default
• data_files:
  • dev: data/dev-*
  • test: data/test-*

支持的任务和排行榜

• 任务: 提供完整仓库和GitHub问题的Issue解决
• 排行榜: www.swebench.com

语言

• 主要语言: 英语
• 处理: 未进行基于语言类型的过滤或清理