AweAgent-Meta-SWE-Bench-Pro

AweAgent-Meta-SWE-Bench-Pro是一个专用于评估AI智能体在软件工程任务中表现的元数据集。它基于Scale AI团队发布的SWE-Bench-Pro基准（一个专注于长周期、真实世界软件工程任务的评测集），并重新封装了任务实例元数据，以适应AweAgent评估工具链的输入格式要求。数据集包含731个独立任务实例，每个实例以JSON对象形式存储，提供执行具体软件修复任务所需的完整上下文，包括GitHub仓库信息（如仓库名称、主编程语言、基础提交点）、自然语言描述的问题陈述、功能需求、接口规范、人工编写的黄金修复补丁和测试补丁、测试用例列表（包括需要从失败转为通过的测试和必须保持通过的回归测试）、评估过程中实际运行的测试文件列表、初始化任务环境的容器内Shell命令、问题类型（如主要缺陷、数据缺陷）和知识领域（如后端知识、数据库知识）的分类标签，以及构建环境的镜像标签信息。该数据集适用于研究和评估AI智能体（或代码生成模型）在解决复杂、长周期真实软件工程问题（如代码缺陷修复、功能实现）方面的能力，使用者应同时引用本数据集及其上游的SWE-Bench-Pro基准，并采用CC BY 4.0许可证发布。AweAgent-Meta-SWE-Bench-Pro is a meta-dataset specifically designed for evaluating the performance of AI Agents in software engineering tasks. It is based on the SWE-Bench-Pro benchmark released by the Scale AI team, which is an evaluation set focusing on long-cycle, real-world software engineering tasks, and it repackages the task instance metadata to fit the input format requirements of the AweAgent evaluation toolchain. The dataset contains 731 independent task instances, each stored as a JSON object, providing complete context required for executing specific software repair tasks, including GitHub repository information (e.g., repository name, primary programming language, base commit), natural language problem statements, functional requirements, interface specifications, manually written golden repair patches and test patches, test case lists (including tests that need to be converted from failed to passed and regression tests that must remain passing), lists of test files actually run during the evaluation process, in-container Shell commands for initializing the task environment, classification tags for problem types (e.g., major defects, data defects) and knowledge domains (e.g., backend knowledge, database knowledge), as well as image tag information for building the environment. This dataset is applicable to researching and evaluating the capabilities of AI Agents (or code generation models) in solving complex, long-cycle real-world software engineering problems such as code defect repair and function implementation. Users should cite both this dataset and its upstream SWE-Bench-Pro benchmark, and it is released under the CC BY 4.0 license.

原始信息汇总

数据集：AweAgent-Meta-SWE-Bench-Pro

许可证：CC BY 4.0

概述
该数据集是AweAgent用于运行SWE-Bench-Pro评估的元数据集合。底层基准任务的设计、代码仓库和测试套件源自scaleapi/SWE-bench_Pro-os项目及其论文《SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?》。

数据文件

• swe_bench_pro_aweagent.jsonl：包含731个SWE-Bench-Pro实例，每个实例对应一行JSON对象。

字段说明

字段	类型	描述
instance_id	str	实例的唯一标识符。
repo	str	任务来源的GitHub仓库（如NodeBB/NodeBB）。
repo_language	str	仓库的主要编程语言（如js、python）。
base_commit	str	作为初始状态的检出提交SHA。
problem_statement	str	向智能体展示的自然语言问题描述。
requirements	str	从问题中推导出的详细功能需求。
interface	str	解决方案必须符合的所需方法/函数签名。
patch	str	黄金参考补丁（人工编写的修复方案），用作真实答案。
test_patch	str	黄金测试补丁——编码预期行为的新增或修改的测试。
fail_to_pass	str (JSON列表)	应用智能体补丁后必须从失败变为通过的测试。
pass_to_pass	str (JSON列表)	应用智能体补丁后必须保持通过的测试（回归防护）。
selected_test_files_to_run	str (JSON列表)	评估期间实际执行的测试文件。
before_repo_set_cmd	str	在智能体开始前，用于重置仓库并暂存黄金测试补丁的Shell命令。
issue_specificity	str (JSON列表)	描述问题类型的标签（如major_bug、data_bug）。
issue_categories	str (JSON列表)	描述涉及知识领域的标签（如back_end_knowledge、database_knowledge）。
tag	str	与镜像构建对应的短标签名。
source_image	str	派生每个实例镜像的上游源镜像。

致谢与引用
本数据集基于Scale AI团队的SWE-Bench-Pro基准构建。所有基准实例、问题描述、黄金补丁和测试套件均源自其工作。使用本数据集时，请引用SWE-Bench-Pro原论文。

搜集汇总

数据集介绍

构建方式

AweAgent-Meta-SWE-Bench-Pro数据集是基于Scale AI团队发布的SWE-Bench-Pro基准测试构建的元数据集合。它将原始基准中的731个软件工程任务实例重新封装为AweAgent评估框架所需的格式，每个实例对应一个JSON对象，存储于swe_bench_pro_aweagent.jsonl文件中。构建过程保留了原始基准中每个实例的核心信息，包括任务对应的GitHub仓库、起始提交哈希、问题描述、功能需求、接口签名、人工编写的黄金补丁及测试补丁，并补充了用于评估的测试文件列表、容器内环境重置命令、问题类型与知识领域标签等元数据字段，使其能够直接服务于AweAgent在长周期软件工程任务上的评测流程。

使用方法

使用该数据集时，需配合AweAgent框架进行。用户首先从swe_bench_pro_aweagent.jsonl文件中按需选取实例，利用其中的repo、base_commit字段克隆对应仓库并重置到指定提交状态，随后通过before_repo_set_cmd字段执行环境准备命令以载入黄金测试补丁。接着，将problem_statement或requirements作为任务描述输入AweAgent，由智能体生成补丁。最后，基于fail_to_pass和pass_to_pass中的测试列表运行测试套件，通过检查测试通过情况来评估智能体在解决实际软件工程问题中的性能表现。

背景与挑战

背景概述

AweAgent-Meta-SWE-Bench-Pro 数据集由 AweAgent 团队于 2025 年构建，旨在为自主软件工程智能体提供标准化的评估元数据。该数据集基于 Scale AI 团队发布的 SWE-Bench-Pro 基准测试，后者聚焦于长周期软件工程任务，要求智能体在真实 GitHub 仓库中修复复杂问题。AweAgent-Meta-SWE-Bench-Pro 重新组织了 731 个实例的元数据，涵盖问题描述、功能需求、接口规范、黄金补丁及测试套件，以适配 AweAgent 评估框架。该数据集对于推动自主软件工程智能体的研究具有重要意义，它不仅验证了智能体在长期任务中的规划与执行能力，还为比较不同方法提供了统一平台。通过开源发布，数据集促进了人机协作与自动化修复领域的发展，成为衡量 AI 在真实软件工程场景中表现的关键资源。

当前挑战

该数据集核心挑战在于解决长周期软件工程任务的复杂性和评估可靠性。领域问题方面，传统基准测试多面向短时任务，而 SWE-Bench-Pro 要求智能体在数小时跨度内定位并修复深层缺陷，涉及跨文件修改、回归测试保持及多领域知识融合（如后端、数据库），远超简单图像分类或代码补全的难度。构建过程中，团队需应对仓库环境差异、依赖版本冲突及测试执行容错性，确保 731 个实例在容器化环境中的可复现性。元数据标准化亦面临挑战，需将自然语言问题描述转化为结构化需求与接口签名，同时平衡黄金补丁的准确性以消除评估偏差。此外，评估指标设计需兼顾故障检测率与回归覆盖率，避免对特定策略的偏向，保障结果公平性。

常用场景

经典使用场景

在人工智能驱动的软件工程领域，评估自主代理在复杂、长周期编程任务中的表现是关键挑战之一。AweAgent-Meta-SWE-Bench-Pro 数据集专为此而生，其最经典的应用场景是基于 SWE-Bench-Pro 基准测试，为智能代理提供标准化的软件工程任务元数据。每一实例包含从真实 GitHub 仓库提炼的问题描述、功能需求、接口签名、黄金补丁及测试用例，使研究者能够系统性地评估代理在理解自然语言问题、定位代码缺陷并生成正确补丁等方面的综合能力。该数据集为 SWE-Bench-Pro 评测提供了结构化的执行环境配置，特别适用于测试代理在多步骤、跨文件的复杂软件维护场景中的表现。

解决学术问题

长期以来，软件工程代理的评估缺乏涵盖长期规划与多步推理的高质量基准，传统测试任务往往局限于单个函数或简短描述，难以反映现实开发中的复杂协作需求。AweAgent-Meta-SWE-Bench-Pro 通过整合 731 个来自知名开源仓库的实例，每个实例均包含详尽的问题描述、环境重置命令与通过/失败测试集，解决了学术研究中代理在长周期软件工程任务上的可复现评估难题。该数据集使研究者能够量化模型在代码修复、回归测试保持与功能扩展等方面的性能，推动了自主软件工程代理从简单代码生成走向端到端任务执行的关键转变，为比较不同代理架构提供了公平且严谨的实验平台。

实际应用

在实际软件开发中，AweAgent-Meta-SWE-Bench-Pro 数据集助力构建能够自动化处理漏洞修复与功能实现的智能编程助手。基于该数据集训练的代理可被集成到持续集成/持续部署流水线中，自主分析 issue 报告、生成补丁并验证测试通过率，从而加速迭代节奏并降低人力成本。开源社区与商业团队均可利用此元数据创建定制化的评测环境，测试代理在 NodeBB、Django 等真实项目上的修复能力，确保所生成的解决方案符合接口规范且不引入回归缺陷。此外，该数据集还为教育培训平台提供了丰富的编程练习案例，帮助学习者通过对比黄金补丁提升代码调试与维护技能。

数据集最近研究

最新研究方向

该数据集聚焦于长时域软件工程任务中智能体评估的前沿方向，其核心意义在于为AI代理在真实仓库环境下的复杂问题解决能力提供标准化度量。依托SWE-Bench-Pro基准，AweAgent-Meta-SWE-Bench-Pro通过结构化元数据封装731个实例，涵盖从自然语言问题描述到功能需求、接口规范及金标准补丁的完整信息链。这一设计直接回应了当前大语言模型在代码修复领域从短片段任务向端到端、多步骤工程挑战的演进趋势。与开源社区中软件仓库级智能体评估热潮相呼应，该数据集不仅为跨语言、跨领域的代理性能对比提供可复现平台，更通过细粒度标签（如问题类别与领域知识）揭示了模型在数据缺陷、后端逻辑等特定场景下的短板，从而推动自主编程系统向实用化、产业化迈进的探索。