nebius/SWE-agent-trajectories

该数据集包含80,036条由软件工程代理生成的轨迹，这些代理基于SWE-agent框架，并使用各种模型作为动作生成器。这些轨迹中，代理尝试解决来自[nebius/SWE-bench-extra](https://huggingface.co/datasets/nebius/SWE-bench-extra)和[princeton-nlp/SWE-bench](https://huggingface.co/datasets/princeton-nlp/SWE-bench)的开发分割的GitHub问题。数据集的创建是为了研究如何利用开放权重模型开发软件工程代理，并在SWE-bench Verified基准测试中取得了40.6%的分数。数据集收集分为两个阶段：收集问题解决实例，类似于SWE-bench的方法，以及生成大量解决收集问题的轨迹。这些轨迹中生成的代码补丁通过链接的拉取请求中的测试进行评估，以确定哪些补丁通过了测试。

This dataset contains 80,036 trajectories generated by a software engineering agent based on the SWE-agent framework, using various models as action generators. In these trajectories, the agent attempts to solve GitHub issues from the [nebius/SWE-bench-extra](https://huggingface.co/datasets/nebius/SWE-bench-extra) and the dev split of [princeton-nlp/SWE-bench](https://huggingface.co/datasets/princeton-nlp/SWE-bench). The dataset was created as part of a research project focused on developing a software engineering agent using open-weight models, which achieved a score of 40.6% on the SWE-bench Verified benchmark. The dataset collection consisted of two stages: collecting issue-resolution instances, following a methodology similar to SWE-bench, and generating a large number of trajectories for solving the collected issues. The generated code patches in these trajectories were evaluated by the tests from the linked pull requests to determine which of them passed the tests.

搜集汇总

数据集介绍

构建方式

该数据集源自一项旨在利用开源权重模型提升软件工程智能体性能的研究项目，其构建过程严谨而系统。首先，研究者遵循类似SWE-bench的方法论，收集了大量问题-解决方案实例。随后，基于SWE-agent框架，利用多种模型作为动作生成器，对这些实例执行了大规模的轨迹生成。生成的代码补丁经由关联拉取请求中的测试用例进行自动评估，以甄别出成功解决问题的轨迹。整个流程确保了数据集的高质量与实用性，最终汇聚了80,036条软件工程智能体的完整交互轨迹。

使用方法

使用该数据集极为便捷，开发者可通过HuggingFace的datasets库一键加载。只需执行简单的Python代码`from datasets import load_dataset; ds = load_dataset('nebius/swe-agent-trajectories')`，即可获取完整的训练集。加载后的数据集可直接用于训练或评估软件工程智能体，其丰富的字段设计支持多种研究用途，如基于轨迹的模仿学习、智能体策略分析或代码补丁生成模型的微调。值得注意的是，该数据集采用CC-BY-4.0许可，但使用者需同时尊重每个实例所基于的原始仓库的许可协议，若涉及模型输出，还需遵守Llama 3.1许可条款。

背景与挑战

背景概述

在软件工程领域，自动化解码与修复代码缺陷的能力一直是人工智能研究的前沿课题。由Nebius团队主导、依托SWE-agent框架构建的nebius/SWE-agent-trajectories数据集于近期发布，旨在推动基于开源权重模型的软件工程代理研究。该数据集包含80,036条轨迹，记录了代理在解决来自SWE-bench-extra及SWE-bench开发集的实际GitHub问题时的完整行动序列。研究团队通过此数据集在SWE-bench Verified基准上取得了40.6%的解决率，显著展示了大规模轨迹数据在训练高效软件工程代理中的关键作用，为代码智能领域提供了宝贵的训练资源与评估基础。

当前挑战

该数据集所面临的挑战主要体现在两方面。其一，从领域问题角度来看，软件工程代理需应对代码仓库的复杂依赖关系与问题多样性，包括跨文件修改、长上下文推理及多步骤决策，尤其在未解决实例中平均步骤数达58.4步、上下文长度超15,000 token，凸显了长程规划与精准定位的难度。其二，在构建过程中，数据集收集遵循两阶段方法论，需从海量GitHub拉取请求中筛选出可复现的问题-修复实例，并生成大规模轨迹，但轨迹中仅16.7%的实例被成功解决，反映出任务本身的艰巨性及生成有效补丁的高失败率，同时需确保各仓库原始许可证的合规性，增加了数据治理的复杂性。

常用场景

经典使用场景

在软件工程与人工智能的交叉领域，该数据集为训练和评估基于大语言模型的代码智能体提供了标准化的行为轨迹资源。研究者可利用其包含的80,036条由SWE-agent框架生成的交互记录，探索模型在真实GitHub问题修复中的决策过程。每条轨迹涵盖了从系统提示到环境反馈的完整闭环，包括模型推理、代码编辑、补丁生成及测试验证等环节，尤其适用于监督学习场景下的智能体策略优化。通过分析成功与失败案例的步数、上下文长度和编辑模式差异，该数据集成为研究代码修复中探索与利用平衡的关键基准。

解决学术问题

该数据集直面软件工程中自动缺陷修复的核心挑战——如何构建具备长期推理与代码修改能力的智能体。传统方法受限于静态规则或简单检索，难以处理跨文件依赖和复杂逻辑错误，而本数据集通过规模化收集智能体与代码仓库的交互轨迹，揭示了正确修复与无效探索之间的行为分水岭。例如，成功案例平均仅需31步和1.33个文件编辑，而失败案例则陷入长达58步的冗余操作，这一发现为量化智能体效率提供了实证依据。其贡献在于将强化学习中的轨迹优化思想引入代码修复领域，推动了从单步补全到多步决策的范式转变。

实际应用

在实际软件工程中，该数据集支撑着自动化代码审查与持续集成流水线的智能化升级。开发团队可基于其中的轨迹数据训练智能助手，使其在收到Bug报告后自主定位相关文件、生成修改补丁并执行回归测试。例如，在开源项目维护中，该数据集训练的模型能自动处理约40%的已验证问题，显著缩短了从缺陷发现到修复的周期。此外，其包含的多种模型生成记录（如Llama 3.1）为企业在私有代码库中部署轻量级修复工具提供了预训练知识，降低了大规模代码维护的人力成本。

数据集最近研究

最新研究方向

在软件工程与人工智能的交叉领域，随着大型语言模型在代码生成与理解任务中展现出惊人潜力，如何构建能够自主解决真实世界软件缺陷的智能体成为前沿热点。nebius/SWE-agent-trajectories数据集应运而生，它基于SWE-agent框架，收录了超过八万条由开源权重模型驱动的软件工程智能体在解决GitHub issue过程中的完整轨迹数据。该数据集不仅记录了智能体从推理到行动的每一步交互，还附带了最终补丁与测试验证结果，为研究模型在复杂代码库中的决策机制、搜索策略与错误修复能力提供了前所未有的细粒度资源。这一成果直接关联到近期在SWE-bench基准上取得40.6%解决率的突破性进展，标志着通过训练与搜索结合的方法能够显著提升软件工程智能体的自主性，对推动自动化代码修复、持续集成与开发者效率工具的发展具有深远意义。