princeton-nlp/SWE-bench_bm25_50k_llama

SWE-bench是一个测试系统自动解决GitHub问题能力的数据集。该数据集收集了来自12个流行Python项目的2,294个Issue-Pull Request对。评估通过单元测试验证进行，使用PR后的行为作为参考解决方案。数据集的结构包括多个字段，如instance_id、patch、repo等，每个字段都有详细的描述。

原始信息汇总

数据集概述

SWE-bench 是一个测试系统自动解决 GitHub 问题的数据集。该数据集收集了来自 12 个流行 Python 项目的 2,294 个 Issue-Pull Request 对。评估通过使用 PR 后的行为作为参考解决方案的单元测试验证进行。

支持的任务和排行榜

SWE-bench 提出了一项新任务：在提供完整仓库和 GitHub Issue 的情况下解决 Issue。排行榜可以在 www.swebench.com 找到。

语言

数据集的文本主要是英语，但没有根据语言类型进行过滤或清理。

数据集结构

数据实例

SWE-bench 数据实例的示例如下：

• instance_id (str) - 格式化的实例标识符，通常为 repo_owner__repo_name-PR-number。
• patch (str) - 解决问题的 PR 生成的黄金补丁（减去测试相关代码）。
• repo (str) - GitHub 上的仓库所有者/名称标识符。
• base_commit (str) - 表示解决方案 PR 应用前仓库 HEAD 的提交哈希。
• hints_text (str) - 解决方案 PR 的第一个提交创建日期之前的 Issue 评论。
• created_at (str) - Pull Request 的创建日期。
• test_patch (str) - 解决方案 PR 贡献的测试文件补丁。
• problem_statement (str) - Issue 的标题和正文。
• version (str) - 用于运行评估的安装版本。
• environment_setup_commit (str) - 用于环境设置和安装的提交哈希。
• FAIL_TO_PASS (str) - 表示 PR 解决并与 Issue 解决相关的一组测试的 JSON 字符串列表。
• PASS_TO_PASS (str) - 表示 PR 应用前后应通过的测试的 JSON 字符串列表。
• text (str) - 根据检索标准和 github:SWE-bench 中找到的 style-2 提示生成的文本。
• input_ids (List[int]) - 每个文本的 llama 令牌。

数据集信息

特征

• base_commit (string)
• hints_text (string)
• created_at (string)
• test_patch (string)
• repo (string)
• problem_statement (string)
• version (string)
• instance_id (string)
• FAIL_TO_PASS (string)
• PASS_TO_PASS (string)
• environment_setup_commit (string)
• text (string)
• input_ids (sequence: int32)
• labels (sequence: int64)
• patch (string)

分割

• test 分割
  • num_bytes: 829959640
  • num_examples: 2294

下载和数据集大小

• download_size: 319570091
• dataset_size: 829959640

配置

• config_name: default
  • data_files:
    • split: test
    • path: data/test-*