DCAgent3/swebench_verified_rl__56GPU_base_zclip__exp_rpt_pymethods2test_large__GLM_4_7_s9990d297

该数据集包含多轮对话，每条记录包括对话历史（角色和内容）、代理（agent）、模型（model）、模型提供者（model_provider）、日期（date）、任务（task）、轮次（episode）、运行ID（run_id）、试验名称（trial_name）、结果（result）、验证器输出（verifier_output）和跟踪来源（trace_source）。适用于对话系统、模型评估等研究。This dataset contains multi-turn conversations, with each record including conversation history (role and content), agent, model, model provider, date, task, episode, run ID, trial name, result, verifier output, and trace source. It is suitable for research on dialogue systems, model evaluation, etc.

搜集汇总

数据集介绍

构建方式

该数据集源自SWE-bench验证环境，通过强化学习框架在56块GPU上基于GLM-4模型进行大规模微调实验。构建过程中，系统针对代码补全与Python方法测试（pymethods2test）任务，采用基础ZClip策略进行分布式训练，最终筛选出4156条高质量对话轨迹作为训练样本。每条样本均包含完整的角色交替对话（conversations）、任务描述（task）、执行结果（result）及验证器输出（verifier_output），且附带模型、运行批次等元数据标签，确保数据可追溯性与实验复现性。

特点

本数据集突出展示了强化学习与代码智能体结合的工程化特性，其最大特点在于对话轨迹的多维标注——每条样本不仅记录用户与模型间的自然语言交互，更关联具体的SWE-bench任务指标、模型版本（GLM-4）及分布式训练配置（56GPU）。数据规模达507MB，覆盖4156个独立事件（episode），并统一通过验证器（verifier）输出可量化的任务完成度，为代码生成领域的RL训练提供了带有严格质量控制的标准化反馈信号。

使用方法

适用于对话式代码智能体的强化学习训练与评估，可直接通过HuggingFace Datasets库加载（split='train'）多文件数据分片（data/train-*）。调用时需解析'conversations'字段中的角色（role）与内容（content）对，结合'task'字段构建奖励信号（reward signal），并以'result'与'verifier_output'作为监督标签。推荐将'swebench_verified_rl'作为基准脚本参数，配合GLM-4等基座模型进行策略梯度优化。

背景与挑战

背景概述

该数据集名为swebench_verified_rl__56GPU_base_zclip__exp_rpt_pymethods2test_large__GLM_4_7_s9990d297，源自于对大型语言模型在软件工程任务中应用的研究浪潮。随着代码智能领域的蓬勃发展，如何评估和提升模型在真实世界软件工程问题上的能力成为核心议题。本数据集由相关研究团队于近期创建，旨在通过强化学习范式，结合56块GPU的算力支撑，探索基础ZClip算法与特定经验回放策略在提升模型代码生成与测试能力上的效果。其核心研究问题聚焦于如何利用验证器反馈优化语言模型在复杂软件工程基准上的表现，对推动自动化程序修复、测试生成等方向具有显著影响力，为后续的代码智能研究提供了宝贵的训练数据与评估基准。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：软件工程任务要求模型理解项目级上下文、多文件依赖及动态执行环境，远超传统代码补全或文本生成任务。具体而言，模型需应对不同编程语言特性、构建工具链差异及实时代码执行中的不确定性，这对其符号推理与因果推断能力构成严峻考验。在构建过程中，数据采集需兼顾多样性与代表性，从大规模开源仓库中筛选有效问题实例并确保验证器覆盖率的难度极高。此外，强化学习训练阶段的奖励稀疏性、GPU集群的分布式同步开销以及超参数对策略稳定性的敏感度，均为实际落地中的关键技术障碍。

常用场景

经典使用场景

该数据集来源于强化学习与大型语言模型的交叉领域，收录了在56块GPU上基于代码仓库SWE-bench验证集进行强化学习训练过程中产生的完整交互轨迹。每一份样本均包含多轮对话、模型身份标识、时间戳及任务描述，尤其核心的是记录了最终的执行结果与验证器输出。经典的使用场景是作为强化学习训练数据，用于训练代码生成与修复智能体，特别是通过奖励信号优化模型在复杂软件工程任务中的表现。

衍生相关工作

该数据集衍生了若干具有影响力的工作方向。一方面，它催生了对基座模型进行RLHF（基于人类反馈的强化学习）与RLEF（基于执行反馈的强化学习）效果的系统性对比研究，揭示了执行反馈在提升代码修复精度方面更为直接有效的特性。另一方面，围绕该数据集出现了针对奖励模型设计的创新工作，例如研究如何将验证器输出做更细粒度的评分以提升训练稳定性。此外，基于该数据集的强化学习框架也启发了其他领域（如数据库查询优化）中智能体策略学习的相关探索。

数据集最近研究

最新研究方向

该数据集聚焦于强化学习（RL）在复杂软件工程任务（如SWE-bench）中的应用，通过记录大语言模型（如GLM-4）在多轮交互中的对话轨迹、代理行为及验证结果，为研究基于试错学习的智能体代码修复与测试生成提供了高保真训练语料。当前前沿方向包括利用该数据训练具备环境反馈感知的代码智能体，结合奖励塑形与搜索策略优化以提升在真实仓库级缺陷修复中的泛化能力，其高频次的采样机制（56 GPU）与结构化验证输出尤其支撑了在线RL算法在软件工程自动化中的实证探索，对推动从静态代码补全向动态交互式调试范式的演进具有里程碑意义。