OpenDevin/SWE-bench-devin-full-filtered

---
license: mit
dataset_info:
features:
- name: repo
dtype: string
- name: instance_id
dtype: string
- name: base_commit
dtype: string
- name: patch
dtype: string
- name: test_patch
dtype: string
- name: problem_statement
dtype: string
- name: hints_text
dtype: string
- name: created_at
dtype: string
- name: version
dtype: string
- name: FAIL_TO_PASS
dtype: string
- name: PASS_TO_PASS
dtype: string
- name: environment_setup_commit
dtype: string
splits:
- name: test
num_bytes: 8214784.3286835225
num_examples: 450
download_size: 2243476
dataset_size: 8214784.3286835225
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

许可证：MIT许可证
数据集信息：
特征字段：
- 字段名：repo（代码仓库），数据类型：字符串
- 字段名：instance_id（实例ID），数据类型：字符串
- 字段名：base_commit（基础提交），数据类型：字符串
- 字段名：patch（补丁），数据类型：字符串
- 字段名：test_patch（测试补丁），数据类型：字符串
- 字段名：problem_statement（问题描述），数据类型：字符串
- 字段名：hints_text（提示文本），数据类型：字符串
- 字段名：created_at（创建时间），数据类型：字符串
- 字段名：version（版本号），数据类型：字符串
- 字段名：FAIL_TO_PASS，数据类型：字符串
- 字段名：PASS_TO_PASS，数据类型：字符串
- 字段名：environment_setup_commit（环境配置提交），数据类型：字符串
数据划分：
- 划分名称：test（测试集），占用字节数：8214784.3286835225，样本数量：450
下载大小：2243476
数据集总大小：8214784.3286835225
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分：test，文件路径：data/test-*

原始信息汇总

数据集概述

数据集特征

• repo: 字符串类型
• instance_id: 字符串类型
• base_commit: 字符串类型
• patch: 字符串类型
• test_patch: 字符串类型
• problem_statement: 字符串类型
• hints_text: 字符串类型
• created_at: 字符串类型
• version: 字符串类型
• FAIL_TO_PASS: 字符串类型
• PASS_TO_PASS: 字符串类型
• environment_setup_commit: 字符串类型

数据集划分

• 测试集 (test):
  • 示例数量: 450
  • 数据大小: 8214784.3286835225 字节

数据集大小

• 下载大小: 2243476 字节
• 数据集总大小: 8214784.3286835225 字节

配置

• 默认配置 (default):
  • 数据文件路径: data/test-*

搜集汇总

数据集介绍

构建方式

在软件工程领域，自动化缺陷修复是提升开发效率的关键挑战之一。OpenDevin/SWE-bench-devin-full-filtered数据集由HuggingFace社区构建，旨在为基于大语言模型的代码修复任务提供标准化评估基准。该数据集从SWE-bench原始集合中筛选出450个高质量实例，每个实例囊括了仓库名称、实例标识、基础提交哈希、修复补丁、测试补丁、问题描述、提示文本、创建时间、版本号、测试通过状态变化及环境搭建提交等结构化字段。数据以单一测试集划分，采用Parquet格式存储，保证了高效读取与处理。

特点

该数据集的核心特点在于其精细的筛选与完整性。所有实例均包含从问题陈述到修复补丁的完整闭环信息，其中FAIL_TO_PASS与PASS_TO_PASS字段准确记录了修复前后的测试用例状态变化，为评估修复效果提供了量化依据。此外，hints_text字段提供了额外上下文线索，有助于模拟真实开发场景中的提示机制。数据集的版本字段确保了可追溯性，而environment_setup_commit则保障了实验环境的可复现性。这些特性使其成为研究代码智能修复与程序合成任务的理想资源。

使用方法

使用该数据集时，研究者可直接从HuggingFace数据集库加载默认配置的测试划分。典型流程包括：解析problem_statement获取缺陷描述，利用base_commit和patch字段进行补丁生成与验证，通过FAIL_TO_PASS和PASS_TO_PASS字段评估修复成功率。建议结合环境搭建提交复现运行环境，以确保实验一致性。数据集的轻量级设计（约2.2MB下载大小）使其易于集成到现有实验框架中，适用于对比不同语言模型在代码修复任务上的性能表现。

背景与挑战

背景概述

在软件工程领域，自动化代码修复与智能编程助手的研发日益成为热点，而高质量基准测试集是推动这一领域进步的关键基石。OpenDevin/SWE-bench-devin-full-filtered数据集由OpenDevin团队于近期创建，专注于评估大型语言模型在真实世界软件仓库中解决复杂编程问题的能力。该数据集精心筛选了450个来自开源项目的实例，每个实例包含完整的仓库信息、问题陈述、补丁及测试用例，旨在填补现有基准测试在真实性与全面性上的空白。其核心研究问题在于衡量模型能否理解跨文件依赖、定位缺陷并生成可合并的修复代码，对推动自主编程代理与软件维护自动化具有深远影响力。

当前挑战

该数据集所解决的领域挑战在于，传统编程基准多聚焦于孤立函数或算法题，无法反映真实软件开发中多文件协作与复杂上下文的需求。构建过程中，团队面临多重困难：首先，从海量开源提交中精准筛选出可复现、问题陈述清晰的实例，需要严格过滤噪声与不完整数据；其次，确保每个实例的测试环境可自动搭建，涉及版本依赖与配置复杂性；最后，维护数据集的跨版本兼容性，避免因仓库演进导致基准失效。这些挑战共同塑造了该数据集作为评估LLM编程能力的严苛标尺，但其规模有限与语言覆盖单一性仍为未来扩展方向。

常用场景

经典使用场景

SWE-bench-devin-full-filtered数据集在软件工程与人工智能交叉领域具有举足轻重的地位，其经典使用场景聚焦于评估和提升大语言模型在真实代码仓库中的自动化缺陷修复能力。该数据集精心筛选了450个来自GitHub开源项目的真实软件缺陷实例，每个实例均包含完整的仓库上下文、问题描述、补丁及测试用例，为研究者提供了标准化、可复现的基准测试平台。通过在此数据集上进行训练与评测，研究者能够系统性地衡量模型理解复杂代码逻辑、定位错误根源并生成有效修复方案的能力，从而推动自动化程序修复技术从理论走向实践。

衍生相关工作

围绕该数据集已衍生出一系列具有影响力的经典工作。研究者基于此基准提出了多种增强型修复框架，例如结合检索增强生成技术的上下文感知修复方法，以及利用多轮交互策略的渐进式缺陷定位模型。部分工作进一步探索了将代码结构信息与语言模型相结合的图神经网络架构，显著提升了修复准确率。此外，该数据集还催生了针对长上下文理解、跨文件依赖分析等子问题的专项研究，推动了软件工程与自然语言处理领域的交叉融合，为构建更鲁棒的自动化编程助手奠定了坚实基础。

数据集最近研究

最新研究方向

在软件工程与人工智能的交叉前沿，SWE-bench系列数据集正引领着自动程序修复与代码智能体的评估范式革新。OpenDevin/SWE-bench-devin-full-filtered作为该领域的精炼版本，聚焦于450个经过严格筛选的真实GitHub问题实例，每个样本均包含完整的仓库上下文、问题描述、补丁及测试用例。这一设计使得研究者能够系统性地评估基于大语言模型的自主编程智能体在复杂代码库中的故障定位与修复能力。当前，该数据集已成为衡量代码生成模型能否从“语法正确”迈向“语义可靠”的关键基准，其过滤机制剔除了低质量或歧义样本，确保了评估结果的鲁棒性。随着Devin等自主编程系统的涌现，该数据集不仅推动了软件缺陷自动修复技术的实用化进程，更促使学界重新思考代码智能的泛化边界与评估标准。