DCAgent3/swebench_verified_a3_rl_DCAgent_llm_verifier_freelancer_70_8B_20260528_192440

该数据集包含多轮对话记录，涉及代理、模型、任务执行和验证输出等特征，用于训练或分析对话交互和任务完成过程。具体包括对话内容（角色和内容）、代理标识、模型信息、日期、任务类型、片段、运行ID、试验名称、结果、验证器输出和跟踪来源。数据集规模为2566个示例，总大小约300.8 MB。

This dataset contains multi-turn conversation records involving features such as agent, model, task execution, and verification outputs, used for training or analyzing dialogue interactions and task completion processes. It includes conversation content (role and content), agent identifier, model information, date, task type, episode, run ID, trial name, result, verifier output, and trace source. The dataset consists of 2566 examples with a total size of approximately 300.8 MB.

搜集汇总

数据集介绍

构建方式

本数据集基于SWE-bench Verified基准，通过强化学习框架Agent-RL与DCAgent智能体协同构建。具体流程为：启动智能体针对真实软件工程任务（如代码修复、问题定位）执行多轮交互，并引入Freelancer 70B as a Judge型大语言模型作为验证器（llm_verifier），对每轮智能体生成的解决方案与任务日志进行打分。最终仅保留验证器判定为正确（即result为'graded_correct'且verifier_output非空）的轨迹，经筛选形成2566个高质量示例，每个示例包含结构化对话历史、任务元数据及验证结果。

特点

数据集具有三大特性：其一，覆盖多样软件工程任务，每条数据包含智能体（agent）、模型（model）、任务（task）、轮次（episode）等精细元信息，便于分场景分析；其二，融合双重验证机制——不仅记录任务执行结果（result），还存储大模型验证器对智能体行为的判断（verifier_output），为评估智能体推理质量提供多维依据；其三，对话结构（conversations）以角色-内容对（role-content pairs）呈现，完整捕捉智能体与环境的交互过程，支持对推理链路的深度解析。

使用方法

数据集以'data/train-*'格式存储，通过HuggingFace Datasets库加载默认配置即可获取训练分割。每条记录为字典，包含'conversations'字段（列表，每项含'role'与'content'）及其他元数据。使用者可基于角色信息提取智能体或用户话语进行监督微调，或利用'result'与'verifier_output'字段进行强化学习中的奖励建模；也可通过'task'、'episode'等字段筛选特定场景下的子集用于评估，或分析不同模型、智能体在软件工程任务上的表现差异。

背景与挑战

背景概述

该数据集名为swebench_verified_a3_rl_DCAgent_llm_verifier_freelancer_70_8B_20260528_192440，由研究团队在2026年构建，聚焦于软件工程领域中基于大语言模型（LLM）的智能体在代码仓库级任务上的表现。其核心研究问题在于如何利用强化学习与自动化验证器，提升LLM Agent在真实软件工程问题（如代码修改、缺陷修复）中的自主决策能力与可靠性。该数据集通过对DCAgent等模型在SWE-bench Verified基准上的交互轨迹进行标准化采集，为评估和训练具备验证反馈的工程化Agent提供了基础，对推动代码智能体从实验室场景迈向实际工业部署具有重要参考价值。

当前挑战

该数据集所解决的领域挑战在于，现有代码智能体常因缺乏真实软件工程上下文（如依赖冲突、构建环境）而难以在高复杂度仓库级任务中保持稳定表现，而传统评估依赖人工标注，成本高昂且难以复现。在构建过程中，面临的挑战包括：如何设计统一的交互协议以兼容不同模型（如70B与8B参数规模）的生成差异，如何确保验证器（llm_verifier）对中间步骤与最终结果给出可靠且无偏的判别，以及在2566条样本中平衡多样性（涵盖多种任务类型）与数据质量，避免因采样偏差导致模型泛化能力下降。

常用场景

经典使用场景

该数据集汇聚了基于强化学习框架与大型语言模型驱动的软件工程智能体在真实代码仓库中的交互轨迹，为研究自主代码修复与任务执行提供了丰富的原始素材。经典使用场景聚焦于评估和训练能够理解软件缺陷、定位问题根源并自动生成补丁的对话式编程智能体，通过分析多轮agent与环境的交互记录，研究者可深入探索模型在复杂软件工程任务中的决策逻辑与鲁棒性。

衍生相关工作

围绕该数据集，衍生出多项开创性研究工作，包括多轮对话中智能体记忆机制的设计、基于过程奖励的强化学习优化策略、以及可解释性补丁生成框架的构建。后续工作进一步探索了将验证器反馈融入在线学习循环的方法，催生了诸如弱监督下的代码修复偏好对齐、跨项目迁移的零样本适应等方向。这些衍生工作共同编织出一幅将语言模型从被动代码理解推向主动软件工程行动的理论图谱。

数据集最近研究

最新研究方向

该数据集聚焦于软件工程领域中的自动化代码修复与验证，特别是基于强化学习与大语言模型协同的智能体方法。其核心方向是探索如何通过多轮对话交互（conversations）与验证器反馈（verifier_output）来提升代码生成与修复的准确性和鲁棒性。当前前沿研究热点包括利用分布式智能体（如DCAgent）在SWE-bench基准上进行端到端的任务求解，并结合Freelancer等开源模型进行轻量化部署。该数据集收录了2566个训练实例，覆盖多种任务与运行轨迹，为研究模型在复杂软件工程场景下的推理、决策与自我纠错能力提供了宝贵资源，对推动自动化程序修复、智能编程助手的可信度与实用性具有重要影响。