AweAI-Team/AweAgent-Meta-SWE-Bench-Pro

该数据集提供了AweAgent运行SWE-Bench-Pro评估所使用的元数据。

This dataset provides the metadata used by AweAgent to run the SWE-Bench-Pro evaluation.

搜集汇总

数据集介绍

构建方式

AweAgent-Meta-SWE-Bench-Pro数据集源于Scale AI团队精心构筑的SWE-Bench-Pro基准测试，旨在为AweAgent智能体系统提供标准化评估元数据。其构建过程以731个真实软件工程任务实例为核心，每项实例均从开源仓库中提取，涵盖从JavaScript到Python等多语言生态。元数据字段丰富而精细，囊括实例标识、仓库信息、基础提交哈希、自然语言问题描述、功能需求规约、接口签名约束、黄金修复补丁、测试补丁及状态转换规则等。为确保评估的严谨性，数据集还注入了用于重置仓库环境的shell命令、问题特异性标签与领域知识分类标签，最终以JSON Lines格式封装，形成AweAgent专属的运行配置清单。

特点

该数据集最为醒目之处在于其面向长周期软件工程任务的专门设计，每一项实例均包含从故障重现到修复验证的完整闭环。特点之一是对状态变迁的精确刻画——通过fail_to_pass与pass_to_pass字段，明确定义了测试集在应用补丁前后必须满足的通过状态转换，从而严格度量智能体的修复质量。此外，数据集引入issue_specificity与issue_categories标签体系，对问题的类型（如重大缺陷、数据缺陷）及所需知识领域（如后端知识、数据库知识）进行多维标注，为后续分析与能力归因提供了量化依据。所有元数据均遵循统一的Schema，便于程序化解析与批量处理。

使用方法

使用该数据集时，首先需搭建AweAgent评估环境，并确保对SWE-Bench-Pro底层框架的依赖已正确安装。运行流程以swe_bench_pro_aweagent.jsonl文件为入口，通过按行读取JSON对象获取每个实例的完整配置，包括待解决的GitHub仓库地址、基础提交版本及问题描述。随后，AweAgent依据problem_statement与requirements生成修复方案，系统自动利用before_repo_set_cmd完成环境重置与测试补丁的预植入。评估阶段的核心在于比对智能体输出补丁与黄金参考补丁的效果，依据fail_to_pass与pass_to_pass规定的测试状态转换进行评分。最终，研究者可结合issue_categories等元数据进行多维度性能剖析，深入理解智能体在不同问题类型与知识领域下的表现差异。

背景与挑战

背景概述

随着大语言模型在代码生成与理解任务上的能力日益增强，如何评估智能体在复杂、长周期软件工程任务中的表现成为了一个关键研究问题。AweAgent-Meta-SWE-Bench-Pro数据集由AweAI团队开发，旨在为AweAgent系统提供运行SWE-Bench-Pro评估的元数据。该数据集基于Scale AI团队于2025年发布的SWE-Bench-Pro基准构建，包含731个来自真实GitHub仓库的软件工程实例，涵盖从问题理解、代码修复到回归验证的完整流水线。SWE-Bench-Pro通过引入长跨度任务和严格的测试验证机制，显著推动了智能体在软件工程自动化领域的能力评估，成为衡量AI编程助手实用性的重要标杆。

当前挑战

该数据集所面临的挑战首先源于软件工程任务本身的复杂性——智能体需处理包含多文件修改、跨组件依赖及隐形约束的长链条问题，远超简单的代码补全或单行修复。此外，评估构建过程中面临多重困难：如何从真实仓库中筛选并标准化731个高质量实例，确保每个任务的故障模式清晰且可复现；如何设计从失败到通过的测试对，既捕捉预期行为又防止过拟合；以及如何将不同编程语言、框架和领域的任务统一到可重复执行的容器化评估环境中。这些挑战共同构成了智能体软件工程能力评估的瓶颈，也凸显了该数据集在推动研究实践边界的价值。

常用场景

经典使用场景

AweAgent-Meta-SWE-Bench-Pro 数据集作为面向长周期软件工程任务的智能体评测元数据集合，其经典使用场景聚焦于衡量 AI 智能体在真实 GitHub 仓库上解决复杂、多步骤软件修复问题的能力。该数据集涵盖 731 个精心设计的任务实例，每个实例均包含完整的问题描述、功能需求、接口规范以及人工编写的黄金补丁与测试用例，为研究者提供了标准化的评测框架。通过模拟从代码检出、问题理解、补丁生成到测试验证的完整开发流程，该数据集成为评估智能体在端到端软件工程任务中规划、推理与执行能力的标杆。

解决学术问题

该数据集有效解决了学术研究中长期存在的智能体在复杂、长周期软件工程任务上的评测缺失问题。传统基准多聚焦于短时步或单一步骤的代码生成，难以体现智能体应对真实软件维护中多文件修改、回归测试保持与需求对齐等挑战的能力。AweAgent-Meta-SWE-Bench-Pro 引入失败转通过与通过转通过双重验证机制，严格评估补丁的正确性与完整性，规避了过拟合与作弊风险。其细粒度的任务标签（如错误类型与知识领域）进一步支持对智能体认知能力的分解式分析，推动了可解释性与行为分析的研究进展。

衍生相关工作

该数据集衍生了多项经典工作，其中最具代表性的是其上游项目 SWE-Bench-Pro 及相关学术论文《SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?》，该工作首次系统定义了长周期软件工程评测的范式。基于此元数据，研究者进一步开发了 AweAgent 问答系统，利用分层规划与执行模块提升任务完成率。此外，围绕该数据集涌现出多篇分析智能体决策边界与失败模式的研究，为后续设计更鲁棒的智能体架构提供了实证基础。该数据集也激发了社区对多模态交互、动态上下文学习等方向的探索。