AweAI-Team/DeNovoSWE

DeNovoSWE是一个用于从零开始生成整个代码仓库的长周期环境扩展数据集。该数据集包含4,818个高质量实例，这些实例是从34,000个DeepSeek-v4-High生成的轨迹中筛选出的11,000个轨迹。数据集旨在支持代码仓库的自动重建，每个实例提供唯一标识符、真实文档、PyPI包名、Docker镜像URL、GitHub用户和仓库信息、工作目录路径、单元测试标识符列表、单元测试代码补丁以及测试使用的二进制文件等详细信息。数据集可用于训练和评估代码生成代理在长周期任务中的性能。DeNovoSWE is a dataset for scaling long-horizon environments for generating entire repositories from scratch. It contains 4,818 high-quality instances, filtered from 34k DeepSeek-v4-High trajectories to 11k trajectories. The dataset supports automatic repository reconstruction, with each instance including a unique identifier, ground-truth documentation, PyPI package name, Docker image URL, GitHub user and repository information, working directory path, list of unit test identifiers, code patch for unit tests, and binary files used by tests. It is designed for training and evaluating code generation agents on long-horizon tasks.

搜集汇总

数据集介绍

构建方式

DeNovoSWE数据集旨在为从零开始生成完整代码仓库这一极具挑战性的任务提供长程环境基准。该数据集精心挑选了4,818个高质量实例，其构建过程基于从DeepSeek-v4-High模型生成的34,000条轨迹中，经过严格过滤与筛选，最终保留了约11,000条高质量轨迹。每个实例均包含唯一的实例标识符、目标仓库的GitHub链接、详细的文档说明、PyPI包名、Docker镜像配置以及工作目录等丰富元数据，确保了数据集的完备性与实用性。

特点

DeNovoSWE数据集具备鲜明特性：首先，它聚焦于全仓库生成这一长程任务，每个实例都要求模型根据给定的文档描述，从空白状态构建出完整的代码库。其次，数据集内含详尽的代码覆盖率信息，涵盖Python行覆盖率与仓库级覆盖率，为评估生成代码的质量提供了量化指标。此外，数据集不仅包含了单元测试补丁与测试文件列表，还特别引入了针对二进制测试文件的处理方案，以及用于防止评估作弊的PyPI名称约束机制，从而保证了评估过程的公正性与结果的可靠性。

使用方法

使用DeNovoSWE数据集时，研究者可借助配套的AweAgent工具，依照其recipes目录下的denovo_swe配置进行模型评估。每个实例均以JSONL格式存储，用户可直接读取训练集中的denovoswe_public.jsonl文件，并利用其中提供的Docker镜像URL（image_url）快速搭建隔离的评估环境。在生成过程中，模型需依据document字段给出的真实文档，结合repo_structure与readme_content等结构信息，逐步生成完整的仓库内容，最终通过执行预定义的单元测试来验证生成结果的有效性。

背景与挑战

背景概述

DeNovoSWE数据集由AweAI-Team团队于2026年创建，旨在解决从零生成完整代码仓库的长时域环境挑战。该数据集包含4818个高质量实例，源自超过11000条经过过滤的DeepSeek-v4-High轨迹，为软件工程领域的大语言模型训练与评估提供了全新基准。其核心研究问题聚焦于提升模型在复杂软件项目中的端到端生成能力，涵盖了从文档理解到仓库级代码构造的完整流程。DeNovoSWE不仅推动了代码生成从片段级向仓库级的跃迁，还通过整合Docker环境配置、测试补丁与二进制文件等元数据，为自动化软件工程研究开辟了新的路径，对下一代AI辅助编程系统的发展具有重要影响。

当前挑战

DeNovoSWE面临的挑战首先体现在领域问题的复杂性上：传统代码生成任务多集中于函数或文件级别，而仓库级生成需要模型同时理解项目结构、依赖关系、测试逻辑与文档语义，这对模型的长时域推理与记忆能力提出了极高要求。在构建过程中，团队需从34000条原始轨迹中筛选出有效实例，面临轨迹噪声大、覆盖率指标难以统一等问题；同时，每个实例需手动配置Docker镜像环境、验证测试补丁的兼容性，并以反作弊约束确保评估公平性。此外，跨语言库的依赖冲突（如PyPI包的版本兼容性）与单元测试的二进制文件处理，进一步增加了数据构建的工程难度与成本。

常用场景

经典使用场景

在软件工程与人工智能的交叉领域中，DeNovoSWE数据集被设计用于从头生成完整代码仓库的长程环境测试。其经典使用场景聚焦于评估大规模语言模型在复杂、多步骤代码生成任务中的能力，例如根据详细文档或功能描述，自主构建包含目录结构、配置依赖、单元测试及核心逻辑的完整Python项目。研究者通过该数据集提供的标准化实例，可系统性地检验模型在生成可运行、符合语法规范且具备工程实用性的软件仓库时的性能。

实际应用

在实际应用中，DeNovoSWE数据集的引入显著赋能了自动化软件开发工具链的演进。基于其构建的智能代理能够辅助程序员快速生成原型仓库、自动补全缺失模块或重构遗留代码，尤其在快速迭代的初创项目或开放源代码的协作中展现出巨大价值。此外，数据集中的Docker环境部署与单元测试集成方案，使其可直接用于企业级CI/CD流水线的自动化测试生成，从而降低手动编写测试用例的人力成本并提升软件质量保障效率。

衍生相关工作

DeNovoSWE数据集催生了一系列具有奠基意义的后续工作，其中最典型的是BeyondSWE-Doc2Repo模型——该模型在Qwen3.5-35B-A3B基座上通过DeNovoSWE的高质量轨迹进行训练，首次证明了可从文档直接生成完整仓库的可行性。此外，AweAgent工具链的发布为社区提供了可复现的评估流水线，而该数据集潜在地启发了软件工程领域关于“仓库级代码补全”、“多文件一致性格生成”及“长程任务规划”等方向的研究浪潮，推动大规模代码模型从工具性组件向自主软件工程师角色演进。