nebius/SWE-rebench-leaderboard

SWE-rebench-leaderboard是一个针对软件工程代理在现实世界任务上进行基准测试的持续更新、精选的数据集子集。它包含了用于SWE-rebench排行榜的任务，并为每个任务提供了预构建的Docker镜像。数据集结构包括实例ID、补丁、仓库、基础提交、测试补丁、问题陈述、创建时间等多个字段，以及用于设置和安装环境的安装配置字段。

SWE-rebench-leaderboard is a continuously updated, curated subset of the SWE-rebench corpus, designed for benchmarking software engineering agents on real-world tasks. It includes tasks used in the SWE-rebench leaderboard and provides pre-built Docker images for each task. The dataset structure features fields such as instance ID, patch, repository, base commit, test patch, problem statement, creation date, and installation configuration for setting up and installing the environment.

搜集汇总

数据集介绍

构建方式

SWE-rebench-leaderboard数据集是基于完整的SWE-rebench语料库，通过精心筛选构建而成，旨在为软件工程智能体的基准测试提供真实世界任务子集。该数据集采用持续更新的方式，从GitHub上真实仓库的拉取请求中提取任务实例，每个实例均包含问题陈述、基础提交哈希、黄金补丁、测试补丁等关键信息，并配套预构建的Docker镜像以确保环境一致性。数据的构建遵循严格的去污染评估流程，通过自动流水线采集任务并验证其有效性，最终形成一个结构化的、面向排行榜评估的标准化数据集。

使用方法

使用该数据集时，研究者可通过HuggingFace的datasets库直接加载，并利用created_at字段按月份筛选所需子集。对于任务的执行，官方提供了基于SWE-bench的适配分支，该框架能够解析每个实例中的install_config字段，自动配置环境并运行测试。用户可直接使用预构建的Docker镜像加速环境部署，或参考相关提交将类似的功能集成到自有评估流程中。通过加载实例的patch与test_patch，智能体可在隔离容器中应用补丁并验证测试结果，从而客观评估其在真实软件维护场景下的表现。

背景与挑战

背景概述

随着大型语言模型在代码生成与理解领域的飞速发展，评估软件工程智能体解决真实世界任务的能力成为关键瓶颈。在此背景下，SWE-rebench-leaderboard数据集于2025年由Nebius研究团队（Ibragim Badertdinov、Alexander Golubev等人）创建，旨在为软件工程智能体提供一个持续更新、经过精心筛选的基准测试平台。该数据集源自完整的SWE-rebench语料库，聚焦于从真实GitHub仓库中提取的Pull Request任务，涵盖问题描述、代码补丁、测试用例及环境配置等核心要素。其核心研究问题在于衡量智能体在复杂软件工程任务中的自主修复能力，并确保评估过程的去污染化。通过引入自动化的任务收集与评估流水线，该数据集为软件工程智能体的性能对比提供了标准化参照，显著推动了该领域研究方法的科学化与可复现性。

当前挑战

该数据集所应对的领域挑战在于软件工程智能体评估的真实性与公平性。传统基准测试往往依赖静态或人工构造的问题集，难以反映实际开发中仓储依赖复杂、环境配置多变、修复跨文件代码等现实挑战。SWE-rebench-leaderboard需确保每个任务实例都能在隔离的Docker容器中复现，并验证修复补丁的准确性，这要求对每项任务的安装配置、测试命令及环境变量进行精细化管理。构建过程中的挑战尤为突出：自动从海量GitHub仓库中筛选有效任务时，需处理补丁与问题描述的语义对齐问题，并剔除与无关测试交叉污染的实例。此外，跨时间月的持续更新要求维护统一的评估协议，并适配不同版本仓储及许可证的异构性，这对数据处理的自动化与鲁棒性构成了严峻考验。

常用场景

经典使用场景

在软件工程与人工智能的交叉领域，SWE-rebench-leaderboard数据集作为持续更新的基准测试语料库，被广泛用于评估软件工程智能体的真实代码修复能力。其860个测试实例覆盖了从2025年1月至2026年3月的真实GitHub拉取请求，每个实例均包含问题描述、黄金补丁、测试补丁及预构建的Docker镜像。研究者通过加载按月划分的数据分片，可系统性地测试智能体在修复实际软件缺陷时的表现，该数据集已成为衡量代码智能体性能的标准平台。

解决学术问题

该数据集核心解决了软件工程智能体评估中任务来源单一、数据污染及环境配置不一致等关键学术难题。通过自动化流水线持续收集真实世界的代码缺陷修复任务，并引入严格的去污染机制，确保了评估的公正性与时效性。其科学的任务划分与标准化环境构建方法，为比较不同智能体架构提供了可复现的基准，推动了自动化程序修复、代码理解与生成等领域的实证研究进步。

实际应用

在实际工程场景中，SWE-rebench-leaderboard数据集赋能开发者高效筛选与优化代码修复智能体。团队可利用该数据集预构建的Docker环境快速验证智能体在不同时间切片上的表现，从而迭代模型策略。企业可依据数据集提供的详细补丁与测试信息，定制符合自身代码仓库特性的评估流程，加速智能体从研发到部署的转化。其灵活的安装配置字段更支持与现有持续集成管线的无缝整合。

数据集最近研究

最新研究方向

在软件工程智能体评估领域，SWE-rebench-leaderboard数据集作为去污染评测基准的标杆，正引领着自动化任务流水线与实证研究的深度融合。该数据集通过持续更新的月度分片机制，系统性地捕捉真实世界代码仓库中的缺陷修复案例，为评估大语言模型驱动的代码智能体提供了动态、可复现的测试场。前沿研究聚焦于利用其细粒度安装配置与测试补丁元数据，分析智能体在环境搭建、补丁生成及回归测试等环节的鲁棒性表现。特别是结合2025年arXiv预印本提出的自动化流水线，该数据集驱动了对智能体跨版本、跨仓库泛化能力的量化剖析，有效规避了传统基准中的数据污染风险。其影响已延伸至工业级持续集成场景，推动了从静态代码分析向动态任务驱动的评估范式转型，为构建可信赖的软件工程自动化系统奠定了坚实的实证基础。