SWE-Bench ProMax
收藏资源简介：
SWE-Bench ProMax是由上海交通大学等多家机构联合创建的大规模多语言代码重构基准数据集，旨在评估AI编码代理在复杂、长时域软件工程任务上的能力。该数据集包含170个精心挑选的实例，覆盖Python、Java、TypeScript、Go、C、C++和Rust七种编程语言，每个实例平均涉及11.4个文件的修改和261.6行代码的变更，远超现有基准的规模。数据集构建过程历经从GitHub积极维护的仓库中收集真实重构提交、环境构建与多阶段专家筛选，包括问题描述重写和测试套件优化，以消除过于狭窄或宽泛的测试。该基准主要用于解决现有基准饱和、评估质量低及语言覆盖不足的问题，为跨文件代码重构这一高频但困难的开发活动提供可靠且具有挑战性的评测标准。
SWE-Bench ProMax is a large-scale multilingual code refactoring benchmark dataset co-developed by Shanghai Jiao Tong University and multiple other institutions, designed to evaluate the capabilities of AI coding agents on complex, long-horizon software engineering tasks. This dataset contains 170 carefully selected instances spanning seven programming languages: Python, Java, TypeScript, Go, C, C++, and Rust. On average, each instance involves modifications to 11.4 files and code changes across 261.6 lines, far exceeding the scale of existing benchmarks. The dataset construction process includes collecting real refactoring commits from actively maintained GitHub repositories, setting up experimental environments, and conducting multi-stage expert screening, which involves rewriting problem descriptions and optimizing test suites to eliminate overly narrow or overly broad test cases. This benchmark is primarily developed to address the problems of saturated existing benchmarks, low evaluation quality, and insufficient language coverage, providing a reliable and challenging evaluation standard for cross-file code refactoring—a frequent yet challenging development practice.
SWE-Bench-ProMax 数据集概述
基本信息
- 数据集名称：SWE-Bench-ProMax
- 数据集类型：多语言仓库级软件问题解决基准测试
- 任务类别：文本生成
- 语言：英语
- 标签：软件工程、代码修复、补丁生成、SWE-Bench基准、多语言
- 数据规模：100 < n < 1K（共170个实例）
- 学术状态：已被 COLM 2026 会议接收
数据集内容
该数据集专注于仓库级别的软件问题解决，每个实例包含任务描述、仓库元数据、参考补丁、评估测试补丁，以及用于运行补丁检查的容器元数据。
主要统计
- 总实例数：170
- 主数据划分：
test - 主数据文件：
swe-bench-promax.json - 评估元数据文件：
eval.json（以instance_id为键）
编程语言覆盖
| 语言 | 实例数 |
|---|---|
| C | 20 |
| C++ | 22 |
| Go | 23 |
| Java | 26 |
| Python | 29 |
| Rust | 22 |
| TypeScript | 28 |
数据字段结构
每条基准记录包含以下核心字段：
instance_id：任务唯一标识符repo：GitHub仓库（格式为owner/name）language：任务主要编程语言problem_statement：自然语言问题或任务描述hints_text：任务相关的可选提示base_commit：目标修复前的仓库提交environment_setup_commit：环境准备使用的提交patch：参考解决方案补丁test_patch：评估过程中使用的测试补丁image_name：任务环境的容器镜像名称working_dir：评估环境中的仓库路径created_at：来源时间戳（Unix秒）
部分记录还包含额外源元数据，如pull_number和issue_numbers。
每个eval.json条目以相同的instance_id为键，包含：
instance_id：对应的基准实例标识符eval_script：执行任务特定评估的Shell脚本
数据集使用
加载基准数据
python from datasets import load_dataset
dataset = load_dataset("swe-bench-promax/SWE-Bench-ProMax", split="test") print(len(dataset))
下载评估元数据
python import json from huggingface_hub import hf_hub_download
eval_path = hf_hub_download( repo_id="swe-bench-promax/SWE-Bench-ProMax", filename="eval.json", repo_type="dataset", )
with open(eval_path, encoding="utf-8") as f: eval_metadata = json.load(f)
引用信息
引用该数据集时，请使用以下格式：
@misc{shi2026swe, title={SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring}, author={Yuling Shi and Jinghan Xu and Kelin Fu and Wenhao Zeng and Shilin He and Lei Zhang and Yue Liu and Zelin Zhao and Terry Yue Zhuo and Jialun Cao and Siyu Ye and Tianyu Liu and Kai Cai and Shing-Chi Cheung and Xiaodong Gu}, year={2026}, eprint={2608.09802}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2608.09802}, }
- 1SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring上海交通大学; 北京大学; 香港科技大学; 抖音集团; 中国科学院大学; 新加坡国立大学; 莫纳什大学 · 2026年
