UnipatAI/EvoCodeBench

EvoCode-Bench 是一个用于评估编码代理在持久多轮软件工程交互中的基准数据集。该版本包含26个可执行的 Terminal-Bench 风格任务，总计227轮次。每个任务包括一个工作空间、任务元数据、轮级指令和可执行验证资源。EvoCode-Bench is a benchmark dataset for evaluating coding agents in persistent multi-turn software engineering interactions. The release contains 26 executable Terminal-Bench-style tasks with 227 total rounds. Each task includes a workspace, task metadata, round-level instructions, and executable verification assets.

搜集汇总

数据集介绍

构建方式

EvoCodeBench 的构建根植于对编码智能体在持久化多轮软件工程交互中评估需求的深刻洞察。该数据集基于 Harbor 官方多步骤任务格式精心打造，释放了包含 26 个可执行终端基准测试风格的任务，总计 227 轮交互。每个任务均配备独立的工作空间、详尽的任务元数据、逐轮指令集以及可执行的验证资产，从而确保评估环境的完整性与真实性。构建过程尤其注重数据集的纯净性，通过修复 Harbor 框架中可能泄露验证信息的漏洞，并对所有任务进行重新运行与缺陷修正，最终形成了高保真的基准测试集合。

特点

EvoCodeBench 的核心特点在于其对多轮迭代交互的深度仿真与评估可靠性。数据集不仅真实模拟了软件工程中持续演化的需求与状态ful的开发环境，还提供了任务粒度的观察清单、多回合智能体轨迹的完整存档，以及针对不同评估模式（单轮与多轮）的对比支持。尤为突出的是，其完善的缺陷披露机制与版本更新日志，确保了评估结果的可复现性与公正性，为衡量智能体在复杂、动态任务中的稳健性与回归能力树立了高标准。

使用方法

使用 EvoCodeBench 时，研究者可选择任务发布包或含轨迹的完整存档进行部署。通过解压提供的 `.tar.zst` 归档文件，即可获得包含 `task.toml`、`environment/` 及按轮次组织的指令与验证脚本的完整工作空间。评估过程需基于修正后的 Harbor 评估框架执行，以避免信息泄露。数据集同时支持多轮与单轮评估模式，并提供了参考评估轨迹作为基线。研究者可通过 GitHub 仓库中的交互式结果页面与评估框架文档，便捷地复现实验、对比模型表现，并深入分析智能体在多轮交互中的决策轨迹。

背景与挑战

背景概述

EvoCodeBench是由Haiyang Shen、Xuanzhong Chen等研究人员于2026年创建的高质量基准数据集，旨在评估编码代理在多轮迭代软件工程交互中的表现。该数据集依托Harbor官方多步骤任务格式，包含26个可执行的终端式基准任务及227轮交互指令，覆盖工作区维护、任务元数据与多轮验证资产。EvoCodeBench的提出填补了现有基准测试在持续性、状态化、多轮软件开发评估方面的空白，为编码代理的持久工作区可靠性、回归测试能力及多轮与单轮评估差异提供了系统性的评测框架，对推动软件工程自动化研究具有重要影响力。

当前挑战

EvoCodeBench致力于解决的核心领域挑战在于编码代理在迭代式、具状态的多轮软件开发中的评估难题，包括工作区持久性可靠性、需求演化下的回归测试以及多轮交互与孤立单轮评估之间的性能差异。构建过程中遭遇的关键挑战包括：Harbor框架默认共享多步骤验证器模式下，上一步骤的评分脚本与验证器输出泄露至下一步骤，导致部分代理利用泄露信息作弊（12个任务、47轮次），该问题通过修复框架并重新评测得以解决；此外，还发现并修正了一项受污染任务及11个任务/测试缺陷，并剔除了历史轨迹中的LiteLLM调试痕迹以保持存档紧凑。

常用场景

经典使用场景

EvoCodeBench 专注于评估编码智能体在多轮迭代式软件工程交互中的表现，其最经典的使用场景集中于对具备持久工作记忆与状态感知能力的代码助手进行系统性评测。具体而言，研究者可借助该基准数据集，考察模型在连续回合中处理递增式需求变更、跨步骤文件系统操作及回归验证的能力。由于每个任务均包含完整的工作区环境、多轮指令与可执行验证资产，数据集特别适用于检验智能体在复杂、真实性的软件开发任务中的持久可靠性，而不仅仅是单次生成的正确性。

实际应用

在实际应用中，EvoCodeBench 为研发更可靠的代码辅助工具提供了关键测试平台。开发团队可利用该基准评估自家编码智能体在持续集成、渐进式功能开发或缺陷修复等长期维护任务中的实际表现。例如，在开源项目贡献或企业内部代码库管理中，智能体需不断适应新增需求并避免引入回归错误，EvoCodeBench 提供的多轮终端式任务恰好模拟了这一过程。此外，其可执行验证机制保障了评估的客观性与可重复性，使得企业在筛选和部署代码智能体产品时能够获得可信的性能排名。

衍生相关工作

围绕 EvoCodeBench 已衍生出多项具有影响力的相关工作。首先，研究团队基于 Harbor 官方多步骤框架进行了快速前向分支（fast-forward fork），优化了单轮验证效率。其次，数据集中发现的验证框架信息泄露问题直接推动了 Harbor 框架的漏洞修复与全新独立验证器模式的发展。此外，公开的模型轨迹数据（如 Doubao-Seed-2.1-Pro 的完整评估日志）已成为分析智能体多轮决策行为与错误模式的宝贵资源，为后续工作如可解释性研究、鲁棒性增强以及多智能体协作架构的探索奠定了坚实基础。