AweAI-Team/DeNovoSWE-Trajectory-Filtered

DeNovoSWE是一个用于从零开始生成整个代码仓库的数据集，旨在扩展长视野环境。它包含4,818个高质量实例，这些实例是从34,000个DeepSeek-v4-High轨迹中筛选出的11,000个轨迹。数据集提供了代码仓库重建所需的信息，包括实例ID、真实文档、PyPI包名、Docker镜像URL、GitHub用户和仓库名、工作目录路径、单元测试标识符列表、测试代码补丁以及测试二进制文件。该数据集在BeyondSWE-Doc2Repo任务上表现出色，训练自Qwen3.5-35B-A3B模型达到50%的性能。DeNovoSWE is a dataset designed for generating entire code repositories from scratch, with the objective of expanding long-horizon environments. It comprises 4,818 high-quality instances, which are selected from 11,000 trajectories filtered from a total of 34,000 DeepSeek-v4-High trajectories. The dataset provides all necessary information for code repository reconstruction, including instance ID, ground-truth documentation, PyPI package names, Docker image URLs, GitHub usernames and repository names, working directory paths, lists of unit test identifiers, test code patches, and test binaries. It delivers excellent performance on the BeyondSWE-Doc2Repo task, achieving 50% performance when trained using the Qwen3.5-35B-A3B model.

搜集汇总

数据集介绍

构建方式

DeNovoSWE-Trajectory-Filtered数据集源自对34,000条由DeepSeek-v4-High模型生成的仓库级构建轨迹的精细筛选。研究者通过自动化与人工校验相结合的方式，剔除了中途失败或结果异常的轨迹，最终保留了约11,000条高质量路径。每一实例均配备完整的仓库文档、Docker镜像地址及单元测试补丁，确保了数据的可复现性与生态一致性。

特点

该数据集以4,818个高质量实例为核心，每个实例包含从零构建完整GitHub仓库所需的全部元信息，包括唯一标识、真实文档、PyPI包名及工作目录路径。其独特之处在于融合了长时序轨迹与抗作弊约束（如基于PyPI名称的防绕过机制），并配备可执行的Docker环境，使得模型能够在一个封闭、可控的沙箱中复现真实的软件开发流程。

使用方法

使用时，用户可加载各字段数据，通过对应Docker镜像与环境配置（包括最大500轮交互与256k序列长度）驱动代理执行仓库重建。推荐的评估框架为AweAgent，其官方配方（recipe）可直接适配本数据集。研究者需遵循CC BY 4.0许可，并将运行生成的结果对照预设的单元测试补丁与二进制文件进行自动评分，以衡量模型在端到端代码生成任务上的表现。

背景与挑战

背景概述

DeNovoSWE-Trajectory-Filtered数据集由AweAI团队于2026年创建，核心研究人员包括Jiale Zhao、Guoxin Chen等，旨在解决从零开始生成完整软件仓库这一长期的代码生成挑战。传统代码生成研究多聚焦于函数级或文件级任务，难以应对长周期、多步骤的仓库级场景。该数据集提供了4818个高质量实例以及从DeepSeek-v4-High模型生成的34k条轨迹中筛选出的11k条过滤轨迹，为训练和评估长程代码生成智能体提供了大规模、标准化的基准。其开源发布（CC BY 4.0协议）和配套的AweAgent评估方案，显著推动了软件工程自动化领域的研究边界，成为从零构建仓库任务的重要里程碑。

当前挑战

该数据集所面向的核心挑战在于软件仓库的从零生成涉及极长的决策序列和复杂依赖关系，远远超出传统代码生成的处理能力。具体而言，智能体需理解模糊的自然语言文档，规划组件间的交互逻辑，并在数千步骤内保持一致的代码结构，对长期记忆和推理能力要求极高。在构建过程中，挑战同样显著：从DeepSeek-v4-High收集的34k原始轨迹中仅有约32%达到质量标准，需要在过滤中平衡覆盖度与精度；同时，为每个实例配置Docker环境、验证单元测试并通过PyPI名称防止作弊，工程复杂度较高。此外，确保评估时智能体不依赖预训练知识而纯基于文档推理，也是设计中的关键难点。

常用场景

经典使用场景

DeNovoSWE-Trajectory-Filtered数据集在软件工程与自然语言处理交叉领域中扮演着关键角色，其典型用途是训练和评估能够从零生成完整软件仓库的智能体。该数据集包含4818个高质量实例，以及从34k条DeepSeek-v4-High轨迹中筛选出的11k条过滤轨迹，为长时域、多步骤的代码生成任务提供了丰富的监督信号。研究者可基于此构建端到端的仓库级代码生成系统，推动自动化软件开发从函数级向仓库级的跨越。

解决学术问题

该数据集旨在解决长期困扰学术界的软件仓库级生成难题：传统基准测试通常聚焦于单文件或单函数补全，缺乏对完整仓库结构、依赖管理、跨文件交互等复杂因素的刻画。DeNovoSWE-Trajectory-Filtered通过提供包含文档、单元测试、Docker环境配置等多维度信息的实例，使得研究者能够系统性地探索如何让智能体理解高层需求文档并自主重构整个代码库。其引入的轨迹过滤机制进一步提升了训练数据的质量，为研究长序列决策、代码规划与执行一致性等核心学术问题奠定了实证基础，显著推动了自动化软件工程领域的方法论迭代。

衍生相关工作

该数据集衍生了多项具有深远影响的经典工作。其核心论文《DeNovoSWE: Scaling Long-Horizon Environments for Generating Entire Repositories from Scratch》首次系统性地定义了仓库级代码生成任务，配套的AweAgent评估框架提供了标准化的验证协议，使得后续研究能够在统一基准下进行公平比较。此外，该数据集启发了基于强化学习的轨迹优化方法，推动了多个社区项目利用筛选后的高质量轨迹进行模型微调与推理策略改进，进而促进了自动化软件工程领域从补全式生成向全局化构造的范式转型。