DCAgent3/swebench_verified_sft__pymethods2test_selfsuccess_best1_jsonfmt__laion_GLM_4_7_9e135d42

该数据集包含多轮对话（包括角色和内容）、代理、模型、模型提供商、日期、任务、场景、运行ID、试验名称、结果、验证器输出和跟踪来源等信息。This dataset contains multi-turn conversations (including role and content), agent, model, model provider, date, task, episode, run ID, trial name, result, verifier output, and trace source.

搜集汇总

数据集介绍

构建方式

本数据集源于SWE-bench已验证的软件开发任务，通过自监督成功策略筛选高质量对话样本，并采用Python方法级测试生成范式进行构建。具体而言，数据集采集了来自LAION平台GLM-4模型（7B参数版）的交互轨迹，经JSON格式格式化处理，最终汇聚为6416条训练样本，每条样本包含对话轮次、执行结果与验证器输出等多维信息。

特点

数据集特色在于其多源元数据标注体系：不仅记录了完整的agent对话历史与模型标识，还包含任务描述、试验轨迹以及运行批次等上下文信息。尤为关键的是，数据引入'verifier_output'字段作为质量筛选依据，有效过滤未通过自动化验证的样本，保障了训练数据的行为一致性。

使用方法

适用于面向代码智能体的监督微调场景，可直接通过HuggingFace Datasets库加载，数据以标准train split格式存储。使用时需解析'conversations'字段中的多轮对话结构，结合'agent'与'result'字段进行行为建模，亦可利用'verifier_output'作为奖励信号实施强化学习训练。

背景与挑战

背景概述

该数据集由LAION与GLM团队于2024年联合构建，聚焦于软件工程领域中代码生成与测试的自动化挑战。核心研究问题在于如何通过监督微调（SFT）技术提升大语言模型在复杂编程任务中的表现，尤其是针对Python方法生成有效测试用例的能力。数据集包含6416条对话样本，每条样本记录了模型在SWE-bench验证集上的代码生成过程与验证结果。作为开源资源，它为评估和优化代码智能体提供了标准化基准，推动了代码生成模型在真实软件工程场景中的应用与发展。

当前挑战

数据集旨在解决代码生成领域中的核心难题：如何确保生成的测试用例不仅语法正确，还能有效覆盖方法的功能逻辑并检测潜在缺陷。这一挑战源于软件测试中对高覆盖率和真实缺陷捕获率的双重需求。构建过程中，团队需处理大规模对话数据的清洗与结构化，确保不同模型生成结果的格式一致性，同时设计可靠的验证器以过滤无效或冗余的测试用例。此外，多轮对话的时序管理与任务拆解也增加了数据标注的复杂度。

常用场景

经典使用场景

在软件工程与代码生成研究的交汇处，该数据集被精心构建以支持指令微调任务，尤其聚焦于将自然语言描述转化为可执行Python方法。其核心设计围绕'自成功'策略展开，即从模型生成的候选代码中，仅选取通过验证器检验的正确实现，从而为训练提供高质量的正样本。这使其成为提升代码大模型生成鲁棒性与准确性的理想基准，广泛应用于代码合成、缺陷修复及测试用例生成等经典场景。

解决学术问题

该数据集有效回应了代码生成领域的两大难题：一是如何从海量弱监督信号中筛选可靠训练数据，二是如何弥合自然语言意图与程序语义鸿沟间的表征差异。通过引入验证器对模型输出的自动校验，它摒弃了人工标注的昂贵与噪声，为无监督或半监督学习范式提供了可规模化扩展的解决方案。这一机制显著推动了代码智能中'自我改进'与'迭代优化'范式的发展，并为后续研究如何利用执行反馈提升模型泛化能力奠定了数据基础。

衍生相关工作

该数据集的构建理念启发了多项后续工作，包括基于执行轨迹的反事实数据增强方法、多轮代码调试中的主动学习策略，以及结合静态分析与动态验证的混合监督框架。在基准测试层面，其'自成功'筛选逻辑衍生出若干具有更严格约束条件的变体，如引入代码覆盖率指标或跨语言迁移评估。此外，基于此数据训练出的模型在HumanEval、MBPP等经典评测集上的表现被广泛作为参照，成为衡量代码大模型指令遵循能力的标杆之一。