SWE-Gym/SWE-Gym-Lite

SWE-Gym Lite包含230个实例，来源于11个Python仓库，遵循SWE-Bench Lite数据集收集流程。

SWE-Gym Lite contains 230 instances sourced from 11 Python repos, following SWE-Bench Lite data collection procedure.

搜集汇总

数据集介绍

构建方式

SWE-Gym-Lite数据集的构建遵循了SWE-Bench Lite的数据收集流程，从11个Python代码仓库中精选出230个真实世界软件工程任务实例。每个实例均包含问题陈述、补丁、测试补丁、基础提交哈希等关键信息，确保了数据的高质量和可复现性。通过系统化的筛选与标注，数据集聚焦于具有代表性的代码修复场景，为评估自动化程序修复方法提供了坚实的基准。

使用方法

使用SWE-Gym-Lite数据集时，研究者可直接通过HuggingFace加载默认配置下的训练拆分，其数据文件路径为'data/train-*'。数据集包含instance_id、problem_statement、patch等字段，适用于训练和评估基于大语言模型的代码修复系统。推荐结合项目页面提供的文档与示例，利用PASS_TO_PASS和FAIL_TO_PASS字段进行测试驱动的性能评估，从而量化模型在真实软件维护场景中的修复能力。

背景与挑战

背景概述

在软件工程领域，自动化缺陷修复与代码生成已成为人工智能驱动开发的核心挑战之一。SWE-Gym-Lite数据集由研究团队于近期构建，源自11个Python开源仓库，严格遵循SWE-Bench Lite的数据采集流程，精选230个实例。该数据集聚焦于评估大语言模型在真实软件仓库中解决实际问题的能力，涵盖从问题陈述到补丁生成的全链路任务。其诞生为软件工程与自然语言处理的交叉研究提供了标准化基准，显著推动了基于检索增强生成和代码理解模型的进展，成为衡量模型在复杂代码环境中推理与修复能力的重要标尺。

当前挑战

当前SWE-Gym-Lite面临的核心挑战包括三方面：首先，领域问题层面，数据集致力于解决代码自动修复中“语义理解与上下文依赖”的难题，现有模型常因无法准确捕捉仓库级代码逻辑而生成无效补丁。其次，构建过程中，实例筛选需平衡多样性与代表性，确保涵盖不同复杂度的bug类型，同时避免数据泄露导致模型过拟合。此外，测试补丁的自动验证机制（PASS_TO_PASS与FAIL_TO_PASS指标）需严格对齐真实仓库的测试套件，防止伪阳性修复干扰评估结果，这对数据标注的精度和可复现性提出了极高要求。

常用场景

经典使用场景

SWE-Gym Lite数据集汇聚了来自11个Python开源仓库的230个真实软件工程实例，为评估和训练代码智能体在真实世界软件维护任务中的表现提供了标准化基准。其经典使用场景聚焦于自动化缺陷修复与功能增强场景，研究者可基于该数据集构建端到端的代码补丁生成系统，通过输入问题描述与仓库快照，驱动智能体生成可合并的代码变更，从而系统性地检验模型在复杂代码库中的上下文理解与程序合成能力。

解决学术问题

该数据集精准回应了软件工程领域中自动化程序修复与代码智能体评估的核心挑战。传统基准多依赖人工构造的简化测试用例，难以反映真实开源项目的复杂依赖与多文件交互问题。SWE-Gym Lite通过提供带有完整提交历史、测试补丁及通过/失败测试序列的实例，使研究者能够量化模型在跨函数调用、库版本兼容性及隐式业务逻辑恢复等难题上的表现，推动了从孤立代码补全向真实软件维护场景的学术范式转变。

实际应用

在实际开发环境中，SWE-Gym Lite支撑着持续集成流水线中的智能缺陷定位与修复工具研发。企业可借助该数据集训练代码审查辅助系统，自动识别pull request中的潜在错误并生成修复建议。此外，基于该数据集的模型还能部署于开源社区的问题追踪系统，将用户报告转化为可执行的补丁方案，显著降低人工维护成本。其轻量级设计（230个实例）使得在有限计算资源下即可验证方法的有效性，加速了从实验室研究到工业部署的转化进程。

数据集最近研究

最新研究方向

SWE-Gym-Lite作为面向软件工程任务的高质量基准数据集，其最新研究聚焦于利用大语言模型（LLM）驱动自动化代码修复与补丁生成。该数据集包含230个来自11个流行Python仓库的真实问题实例，覆盖问题陈述、补丁与测试用例等关键要素，为评估LLM在复杂软件调试中的能力提供了标准化测试床。当前前沿方向包括将强化学习与检索增强生成（RAG）结合，以提升模型对仓库级代码上下文的理解与精准修复能力，同时探索多轮交互式调试范式。这一工作紧密关联开源社区中自动化缺陷修复的热点需求，如GitHub Issue自动解决，对推动AI辅助软件维护、降低人工调试成本具有显著意义。