AIDev dataset

AIDev数据集是由魁北克大学高等技术学院研究团队构建的大规模开源软件工程数据集，专注于分析AI编码代理在GitHub项目中的贡献行为。该数据集涵盖2,807个开源项目，共包含33,596条经过人工筛选的拉取请求记录，数据来源涵盖Copilot、Devin、Cursor和Claude等主流AI编码代理生成的代码修改。数据集的构建过程通过系统化采集GitHub平台上的代理生成请求，并采用严格的过滤标准确保数据质量。该数据集主要应用于软件工程与人工智能交叉领域的研究，旨在深入理解AI代理生成代码修复的拒绝模式，为优化AI编码代理的工作流程、提升人机协作效率提供实证基础。The AIDev dataset is a large-scale open-source software engineering dataset developed by the research team at the École de technologie supérieure, Université du Québec, with a core focus on analyzing the contribution behaviors of AI coding agents within GitHub projects. This dataset encompasses 2,807 open-source projects and contains 33,596 manually curated pull request records, with data derived from code modifications generated by leading AI coding agents including Copilot, Devin, Cursor, and Claude. The construction of the dataset involved systematic collection of agent-generated pull requests from the GitHub platform, paired with strict filtering standards to guarantee data quality. Primarily deployed for research at the intersection of software engineering and artificial intelligence, this dataset aims to uncover in-depth insights into the rejection patterns of AI-agent-generated code fixes, thereby providing an empirical foundation for optimizing the workflows of AI coding agents and enhancing human-AI collaboration efficiency.

搜集汇总

数据集介绍

构建方式

AIDev数据集源自对33,596个经人工筛选的拉取请求的系统性收集，这些请求分布于2,807个开源GitHub仓库中，且仓库星级均超过100。研究者聚焦于由Copilot、Devin、Cursor和Claude四款主流AI编码代理创建或共同编写的错误修复型拉取请求，排除了Codex代理的贡献数据。从总计1,497个被拒绝的代理修复中，以95%置信水平和5%误差幅度为标准，随机抽取了306个具有代表性的样本作为定性分析对象。随后，两位作者独立审阅每个拉取请求的讨论线索、CI结果及外部工件，归纳出拒绝原因标签，并通过讨论达成最终分类体系，利用Cohen's κ系数评估标注者间一致性达到0.605，再由第三位作者协调解决93个分歧案例，最终将14个子主题聚合为四个高阶类别。

特点

该数据集最显著的特征在于其聚焦于AI代理生成的错误修复被拒绝的根本原因，揭示了高达46.41%的代理修复被开发人员拒绝的严峻现实。数据集通过严谨的质性分析提炼出14种拒绝原因，巧妙归为四大主题：修复相关性失效（如长期不活跃后被自动关闭、被更优方案取代）、实现层面缺陷（如修复逻辑错误、方法不当、需求理解偏差）、技术层面障碍（如CI管道持续失败、引入破坏性变更）以及代理提供商层面问题（如会话中断、API速率限制）。尤为突出的是，数据集量化了每次拒绝所浪费的审查精力，发现技术问题类的拒绝代码变更量中位数高达293行，远超其他类别，而提供者故障类则零代码贡献却需要人工评论介入，凸显了资源浪费的多样性。

使用方法

该数据集的使用方法为研究者提供了多层次的分析框架。用户可直接利用论文公开的复制包获取原始拉取请求ID及拒绝标签，通过GitHub API抓取完整的讨论上下文与代码差异，从而复现或扩展质性编码研究。数据集特别适合用于训练预测模型，以评估代理生成修复被拒绝的风险概率，例如基于拉取请求的初始描述、代码变更规模或CI测试结果构建分类器。研究者亦可设计提示词模板，对比不同代理在相同任务上的失败模式，或评估指令文件（如.github/copilot-instructions.md）对降低实现错误的实际效果。此外，数据集的量化维度支持度量研究，例如通过代码变更量与评论数量的关联分析，量化不同拒绝原因对团队生产力的负面影响。

背景与挑战

背景概述

AIDev数据集由Mahmoud Abujadallah、Ali Arabat和Mohammed Sayagh于2026年创建，隶属于École de Technologie Supérieure，旨在系统研究AI编程代理生成的修复代码被拒绝的深层原因。该数据集汇聚了GitHub上超过100颗星的开源项目中由Copilot、Devin、Cursor和Claude四类智能代理创建的33,596条拉取请求，覆盖2,807个软件项目，核心聚焦于软件协作中AI代理的失败模式。研究发现高达46.41%的AI代理修复被拒绝，这一发现揭示了当前自主编程代理在代码生成中存在的重大资源浪费问题，为理解AI代理与人类开发者的协同困境提供了关键证据，对推动软件工程迈向AI辅助的自主开发范式具有重要影响力。

当前挑战

AIDev数据集所应对的核心挑战在于AI代理生成的修复代码普遍存在被拒绝的问题，涉及四大类别14种具体原因：一是修复相关性不足，包括无效超时、被替换、低优先级等，暴露出任务优先级识别与重复提交的难题；二是实现错误，如修复不完整、方法不当、需求理解偏差，凸显AI在复杂需求解析上的局限性；三是技术障碍，包括持续集成测试失败和引入破坏性更改，表明代理缺乏对验证流程的掌握；四是代理服务端限制，如会话中断、速率限制，揭示了外部服务依赖性带来的不可靠性。构建数据集过程中，研究者从1,497条被拒绝修复中通过95%置信度与5%误差的抽样选取306条代表性样本，通过双人独立标注与Cohen's κ一致性检验（达0.605），并在93例分歧中引入第三方仲裁，体现了大规模质性标注的主观差异与标注一致性维护的严苛挑战。

常用场景

经典使用场景

在软件工程与人工智能交叉研究领域，AIDev数据集已成为评估AI编码代理在代码修复任务中表现的核心基准。该数据集精心收录了由Copilot、Devin、Cursor和Claude四款主流AI代理生成的超过33000个拉取请求，涵盖了2807个开源项目，为深入剖析AI代理生成的代码修复被驳回的深层机理提供了丰富素材。研究者通常利用该数据集开展实证研究，系统性地分类与量化AI代理代码修复的失败模式，从而揭示其技术局限性。通过分析超46%的修复被驳回现象，该数据集为理解AI代理在真实开发环境中的性能短板奠定了坚实基础。

衍生相关工作

基于AIDev数据集的研究催生了一系列重要的衍生工作。其中，针对Claude单一代理的拒绝原因分析研究首次系统探讨了异构任务类型下的驳回模式，而AIDev数据集的多代理覆盖特性则推动了更全面的比较研究。该数据集还激发了关于提示工程的研究，研究者开始探索如何设计更有效的提示词模板，以引导AI代理生成更符合预期的修复方案。此外，围绕重复补丁检测与低优先级任务评估的研究亦随之兴起，致力于从任务分配层面减少无效劳动。值得关注的是，该数据集所提出的量化分析方法，为后续构建AI代理修复质量评估体系提供了方法论基础。

数据集最近研究

最新研究方向

在软件工程领域，AI编码代理（如Copilot、Devin、Cursor和Claude）自动生成的拉取请求修复方案正面临严峻的采纳挑战。基于AIDev数据集的最新研究揭示，高达46.41%的由这些代理生成的代码修复遭到开发者拒绝，这一现象引发了关于代理失败模式的深入探讨。前沿研究方向聚焦于系统性地剖析拒绝原因，将其归纳为四大类共14个子维度，涵盖修复方案的相关性缺失、实现缺陷、持续集成流水线失败以及代理自身提供限制。该研究不仅量化了因拒绝而产生的大量资源浪费（包括高额的代码变动量和人类审查时间），更强调了提升代理任务优先级评估、加强修复策略引导及验证指令设计的重要性。这些洞察为优化AI代理与人类开发者之间的协作效率、推动自主修复代理的可靠集成提供了关键的理论依据与实践指导。

相关研究论文

• Understanding the Rejection of Fixes Generated by Agentic Pull Requests -- Insights from the AIDev Dataset

  魁北克大学高等技术学院 · 2026年