nvidia/Nemotron-Cascade-SFT-SWE

Nemotron-Cascade-SFT-SWE数据集是用于SWE代码修复任务的RL训练数据，由SWE-Bench-Train、SWE-reBench、SWE-Smith、R2E-Gym/R2E-Gym-Subset和SWE-Fixer-Train组成。根据难度选择SFT和RL阶段的训练数据，并排除评估数据集中存在的仓库实例以避免数据污染。数据集的提示遵循agentless mini框架，包含三个任务：错误代码定位、代码修复和测试用例生成。响应是通过DeepSeek-R1-0528生成的。使用该数据集进行SFT和RL训练后，8B和14B模型的pass@1解决率分别达到37.2和43.1（无TTS）。数据集的统计信息包括各任务的样本数量，结构示例包括类别、来源、消息、生成器、补丁和思考模式等字段。

The Nemotron-Cascade-SFT-SWE dataset is the RL training data for SWE code repairing task, consisting of SWE-Bench-Train, SWE-reBench, SWE-Smith, R2E-Gym/R2E-Gym-Subset and SWE-Fixer-Train. We select the training data for SFT and RL stages based on its difficulty. Also, to avoid data contamination, we exclude all instances originating from repositories present in the evaluation dataset. We create the prompts following the agentless mini framework, consisting of three tasks buggy code localization, code reparing and test case generation. The response is generated using DeepSeek-R1-0528. Using the data for SFT and RL, we reach pass@1 resolve rate (without TTS) 37.2 and 43.1 for 8B and 14B models. The statistics for our training data include the number of samples for each task. An example of datum includes category, source, messages, generator, patch, and thinking mode.

搜集汇总

数据集介绍

构建方式

在软件工程领域，代码修复任务一直是提升开发效率与软件质量的关键挑战。Nemotron-Cascade-SFT-SWE数据集正是为应对这一挑战而精心构建的监督微调资源，专用于软件工程（SWE）代码修复任务的强化学习训练。该数据集融合了来自SWE-Bench-Train、SWE-reBench、SWE-Smith、R2E-Gym-Subset以及SWE-Fixer-Train等多个权威来源的实例，并依据任务难度精心筛选出适合监督微调与强化学习阶段的数据。为避免数据污染，所有源自SWE-Bench_Verified评估数据集仓库的实例均被排除。数据集的提示遵循agentless mini框架，涵盖缺陷代码定位、代码修复及测试用例生成三项子任务，响应则由DeepSeek-R1-0528模型生成。

特点

该数据集的核心特色在于其结构化与多维度的设计。数据被划分为代码定位、代码修复和测试用例生成三大类别，每个类别下均包含来自不同源头的海量问答对，例如代码定位任务总计超过8.5万个问题。每个数据实例均标注了任务类别、原始数据集来源、遵循agentless框架的用户提示与模型响应、响应生成模型标识、问题补丁信息及思考模式。这种精细的标注体系使得模型能够针对性地学习不同阶段的修复技能。此外，所有SWE数据集在融入第二阶段监督微调数据混合之前均经过3倍上采样，有效增强了数据的多样性，从而支撑模型在8B和14B参数规模下分别达到37.2%和43.1%的pass@1修复率。

使用方法

使用Nemotron-Cascade-SFT-SWE数据集时，研究者可直接加载其结构化的JSON格式数据。每个样本包含category字段以区分任务类型（如SWE Repair、SWE Localization、SWE TestGen），source字段指明原始数据来源，messages字段则提供遵循agentless mini框架的用户提示与模型响应，可直接用于监督微调训练。patch字段记录了问题修复相关的补丁信息，而thinking字段则指示是否采用思考模式。用户可根据研究需求，按任务类别或数据来源筛选子集，例如仅使用代码修复相关数据进行专项训练。该数据集与配套的强化学习数据集共同使用，已在技术报告中验证了其在提升代码修复模型性能方面的有效性。

背景与挑战

背景概述

在软件工程领域，自动化代码修复与缺陷定位一直是提升开发效率与代码质量的核心挑战。随着大型语言模型的崛起，基于深度学习的智能编程助手逐渐成为研究热点，其中SWE-Bench系列基准测试为评估模型在真实仓库级代码修复任务中的能力提供了关键平台。由英伟达团队于2025年创建的Nemotron-Cascade-SFT-SWE数据集，正是针对这一前沿问题而精心构建的监督微调资源。该数据集汇聚了来自SWE-Bench-Train、SWE-reBench、SWE-Smith、R2E-Gym及SWE-Fixer-Train等多个权威来源的样本，通过agentless mini框架设计了三类典型任务：缺陷代码定位、代码修复与测试用例生成。研究团队利用DeepSeek-R1-0528模型生成高质量响应，并严格排除与SWE-Bench_Verified评估集重叠的样本以避免数据污染。该数据集在8B与14B参数量的模型中分别实现了37.2%与43.1%的pass@1解决率，显著推动了代码修复领域的技术边界。

当前挑战

该数据集面临的挑战首先体现在领域问题的复杂性上：真实世界软件仓库中的缺陷往往深嵌于复杂的依赖关系与多文件交互逻辑中，模型需具备跨上下文的推理能力才能精准定位并修复。此外，不同来源的数据集在标注粒度、代码风格与任务难度上存在显著差异，如何统一并筛选出适合强化学习与监督微调的高质量子集成为构建过程中的关键难题。为规避数据污染，研究团队必须细致比对并剔除所有出现在评估集中的仓库实例，这一过程要求对大量开源项目进行版本追溯与去重。同时，采用agentless mini框架生成提示时，需确保三个子任务（定位、修复、测试生成）之间逻辑连贯且覆盖全面，而使用单一模型生成响应也可能引入生成偏差，影响数据多样性与鲁棒性。最终，数据集的规模与平衡性亦需精心调控，以避免模型过拟合于特定模式或来源。

常用场景

经典使用场景

Nemotron-Cascade-SFT-SWE数据集专为软件工程领域中的代码缺陷自动修复任务而设计，其经典使用场景聚焦于构建和训练具备推理能力的大语言模型。该数据集整合了来自SWE-Bench-Train、SWE-reBench、SWE-Smith等多个权威基准的样本，并依据任务难度精心筛选，形成涵盖错误代码定位、代码修复和测试用例生成的三阶段监督微调流程。研究人员利用此数据集训练模型，使其能够理解复杂的代码上下文，精准定位bug位置并生成有效补丁，最终在SWE-Bench评测集上实现突破性的修复率，成为推动代码智能修复技术发展的关键数据基石。

解决学术问题

该数据集系统性地解决了软件工程学术研究中长期面临的“数据污染”与“任务泛化”难题。通过排除所有源自SWE-Bench_Verified评估库的实例，它确保了训练与评估数据的严格隔离，避免了模型性能的虚假提升。同时，数据集将代码修复任务解构为定位、修复、测试生成三个子任务，为研究多阶段推理与联合学习提供了标准化基准。其意义在于，不仅为评估大模型在真实世界代码仓库上的修复能力提供了可靠测试平台，还揭示了模型在复杂代码逻辑推理中的局限性，推动了可解释性代码修复与鲁棒性泛化研究的深入。

衍生相关工作

该数据集催生了一系列里程碑式的工作，其中最具代表性的是基于DeepSeek-R1-0528模型生成的思考链数据，启发了后续研究者探索“推理增强型代码修复”范式。此外，数据集的级联结构（SFT与RL两阶段）直接促成了Nemotron-Cascade系列模型的诞生，其在8B和14B参数规模上分别达到37.2%和43.1%的pass@1修复率，成为小参数模型高效修复的标杆。后续工作如SWE-Fixer-Train-110K的扩充版本和R2E-Gym的强化学习框架，均以该数据集为起点，进一步探索了多轮交互修复与动态环境下的自适应代码生成。