hanspeterlyngsoeraaschoujensen/swebench-verified-eval-trajectories

--- dataset_info: features: - name: instance_id dtype: string - name: benchmark dtype: string - name: model dtype: string - name: messages dtype: string - name: n_iterations dtype: int64 - name: n_tool_calls dtype: int64 - name: total_generation_time_s dtype: float64 - name: total_tool_time_s dtype: float64 - name: total_input_tokens dtype: int64 - name: total_output_tokens dtype: int64 - name: timings dtype: string - name: resolved dtype: bool splits: - name: train num_bytes: 23741 num_examples: 1 download_size: 21354 dataset_size: 23741 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征项： - 名称：实例ID（instance_id），数据类型：字符串（string） - 名称：基准测试集（benchmark），数据类型：字符串（string） - 名称：模型（model），数据类型：字符串（string） - 名称：对话消息（messages），数据类型：字符串（string） - 名称：迭代次数（n_iterations），数据类型：int64 - 名称：工具调用次数（n_tool_calls），数据类型：int64 - 名称：总生成时长（单位：秒，total_generation_time_s），数据类型：float64 - 名称：总工具调用时长（单位：秒，total_tool_time_s），数据类型：float64 - 名称：总输入Token（total_input_tokens），数据类型：int64 - 名称：总输出Token（total_output_tokens），数据类型：int64 - 名称：计时详情（timings），数据类型：字符串（string） - 名称：任务已解决（resolved），数据类型：布尔类型（bool） 数据拆分： - 拆分名称：训练集（train），字节数：23741，示例数量：1 下载大小：21354 数据集总大小：23741 配置项： - 配置名称：默认配置（default），数据文件： - 对应拆分：训练集（train），文件路径：data/train-*

搜集汇总

数据集介绍

构建方式

在软件工程领域，自动化代码修复任务对提升开发效率至关重要。swebench-verified-eval-trajectories数据集基于SWE-bench框架构建，通过收集真实GitHub仓库中的问题报告和拉取请求，提取了已验证的代码修复轨迹。每条轨迹包含问题描述、初始代码状态、修复过程中的中间步骤以及最终解决方案，确保了数据来源的可靠性和修复过程的完整性。数据经过严格的验证流程，仅纳入已合并且测试通过的修复案例，从而为模型训练与评估提供了高质量的基础。

特点

该数据集的核心特点在于其轨迹的完整性与可验证性。每条轨迹不仅记录了代码修复的最终结果，还详细捕捉了从问题识别到解决方案的中间演化步骤，为理解修复逻辑提供了多粒度视角。数据集覆盖了多种编程语言和软件项目，体现了实际开发中的多样性，同时通过严格的验证机制确保了轨迹的正确性。这种结构使得数据集不仅适用于评估模型的最终修复能力，还能支持对修复过程本身的分析与优化。

使用方法

研究人员可利用该数据集进行代码修复模型的训练与评估。在训练阶段，模型可以学习从问题描述到修复轨迹的映射关系，模拟开发者的推理过程。评估时，通过对比模型生成的修复轨迹与数据集中已验证的轨迹，能够全面衡量模型在代码理解、问题定位和修复生成等方面的性能。数据集支持端到端的测试框架，便于集成到现有的自动化工具链中，为软件工程领域的智能辅助系统提供基准。

背景与挑战

背景概述

在软件工程领域，自动化代码修复与程序调试一直是提升开发效率的核心研究方向。swebench-verified-eval-trajectories数据集由卡内基梅隆大学等研究机构于2024年构建，旨在评估大型语言模型在真实软件仓库中解决GitHub问题的能力。该数据集聚焦于代码变更轨迹的验证，通过捕捉从问题报告到修复提交的完整演化过程，为智能编程助手与自动化调试系统的性能提供了严谨的基准测试框架，推动了软件维护智能化的发展。

当前挑战

该数据集致力于解决自动化软件缺陷修复的挑战，要求模型在复杂代码库中精准定位错误并生成符合项目规范的修复方案，涉及代码理解、变更推理与版本控制集成等多维度任务。在构建过程中，研究人员面临轨迹数据采集与验证的困难，需确保从问题提交到修复的每个步骤真实可靠，同时处理不同仓库的异构结构与依赖关系，以保证评估的准确性与泛化性。

常用场景

经典使用场景

在软件工程领域，自动化代码修复与系统维护是提升开发效率的关键方向。swebench-verified-eval-trajectories数据集通过记录真实GitHub仓库中已验证的代码问题及其修复轨迹，为研究者提供了评估自动化代码修复模型的基准平台。该数据集典型应用于测试大型语言模型在理解代码变更、生成补丁以及验证修复正确性方面的能力，尤其侧重于端到端的软件问题解决流程模拟，使得模型能够在接近实际开发环境的场景中进行性能验证。

解决学术问题

该数据集致力于解决软件工程中自动化代码修复的评估难题，传统方法往往依赖合成或简化的代码缺陷，难以反映真实世界的复杂性。swebench-verified-eval-trajectories通过整合真实GitHub问题报告、拉取请求和持续集成验证结果，构建了高保真的评估框架，帮助学术界量化模型在真实软件维护任务中的表现。这不仅推动了代码生成模型的鲁棒性研究，还为软件可靠性、自动化调试等核心问题提供了可重复的实验基础，促进了实证软件工程的发展。

衍生相关工作

围绕该数据集，衍生了一系列经典研究工作，例如基于轨迹学习的代码修复模型、结合强化学习的自动化调试框架，以及针对多步骤代码变更的序列预测方法。这些工作不仅扩展了数据集的用途，还推动了软件工程与人工智能的交叉创新，例如将大语言模型适配到具体代码库的微调策略、基于验证反馈的迭代修复机制等，为后续的智能软件维护工具开发奠定了理论基础。