DCAgent2/swebench_verified_random_100_folders_Qwen3_Coder_480B_A35B_Instruct_FP8_20260429_192404

---
dataset_info:
features:
- name: conversations
list:
- name: content
dtype: string
- name: role
dtype: string
- name: agent
dtype: string
- name: model
dtype: string
- name: model_provider
dtype: string
- name: date
dtype: string
- name: task
dtype: string
- name: episode
dtype: string
- name: run_id
dtype: string
- name: trial_name
dtype: string
- name: result
dtype: string
- name: verifier_output
dtype: string
splits:
- name: train
num_bytes: 48028112
num_examples: 300
download_size: 33960235
dataset_size: 48028112
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集基于SWE-bench Verified的100个随机子集任务构建，通过部署Qwen3 Coder 480B-A35B Instruct FP8模型进行多轮交互式代码生成与修复，记录完整对话轨迹与最终执行结果。数据经过自动化验证器（verifier）的严格筛选，仅保留通过验证的成功样本，最终形成包含300条高质量条目的训练集。每条数据均包含多轮对话（conversations）、底层智能体信息（agent）、模型配置（model）及时间戳（date）等结构化字段。

特点

数据集具有鲜明的领域契合性与结构化优势。100个编程任务随机抽取自SWE-bench Verified基准，覆盖多样化的软件工程场景；对话格式统一以系统角色（system）和用户角色（user）交替组织，便于直接用于指令微调。此外，同步记录模型运行标识（run_id）与试验名称（trial_name），支持细粒度结果溯源与复现。验证器输出（verifier_output）字段额外提供任务求解的成功/失败二进制反馈，强化数据质量控制。

使用方法

该数据集可直接用于训练代码生成与修复类对话模型。使用时需加载JSONL格式文件，将conversations字段视为多轮指令-响应对，按角色分配注意力掩码。建议将300条数据按8:2比例划分为训练集与验证集，用于监督微调或直接偏好优化。出于计算效率考虑，可依据result字段筛选成功样本进行正样本强化，同时利用verifier_output构造自洽性奖励信号。具体加载通过HuggingFace Datasets库的load_dataset('path/to/data')接口实现，无需额外预处理。

背景与挑战

背景概述

该数据集名为swebench_verified_random_100_folders_Qwen3_Coder_480B_A35B_Instruct_FP8_20260429_192404，由Qwen团队于2026年4月创建，旨在评估和训练大型语言模型在软件工程任务上的表现。核心研究问题聚焦于如何利用MoE架构（480B总参数，35B激活参数）的指令微调模型，结合FP8量化技术，在SWE-bench验证集上解决真实的代码仓库问题。该数据集包含300条对话记录，涵盖多轮交互、代理行为及验证结果，为研究代码生成、调试与自动化修复提供了高保真的benchmark，推动了大模型在软件工程领域从理论到实践的跨越。

当前挑战

该数据集面临的核心挑战涵盖多层面：首先，在领域问题层面，软件工程任务（如代码修复、仓库理解）的复杂性远高于常规代码生成，需模型具备长上下文推理、依赖解析及动态执行能力；其次，构建过程中，从SWE-bench的100个随机文件夹中筛选可验证实例需确保任务多样性及结果可复现性，同时FP8量化引入的精度损失可能影响模型输出的一致性；此外，多轮对话的标注与评分机制需平衡自动化验证的准确性与人工干预的成本，这是确保数据集质量的关键难点。

常用场景

经典使用场景

该数据集围绕SWE-bench验证过的软件工程任务，构建了由高性能模型Qwen3-Coder-480B-A35B-Instruct-FP8在结构化文件夹环境中生成的交互式对话记录。其经典使用场景在于为代码智能体的行为建模提供真实且多样的训练语料，涵盖了从任务理解、环境探索到代码生成与调试的完整流程。研究者可借助其中的多轮对话序列，训练模型在复杂代码仓库中自主定位问题、制定修复方案并验证结果，从而有效提升大语言模型在现实软件维护中的端到端执行能力。

实际应用

在实际应用中，该数据集可赋能众多亟需自动化代码维护能力的系统，包括持续集成中的缺陷自动修补、开源仓库的社区工单处理以及企业级遗留代码的现代化重构。基于其生成的智能体能够学习到在受限执行环境中逐步验证假设的有效策略，从而应用于低代码开发平台的智能辅助、自动化代码审查意见的生成乃至安全漏洞的早期预警与修复。这些场景均受益于数据集中体现的从问题复现到最终验证的闭环逻辑。

衍生相关工作

围绕该数据集，衍生出一系列具有影响力的前沿工作。例如，研究者训练了专用奖励模型用于评估代码修复路径的质量，催生了更鲁棒的智能体优化方法；也有团队基于其对话结构提炼出多任务微调策略，在SWE-bench等衍生测试集上刷新了修复成功率。此外，部分工作利用其中失败的互动轨迹进行反事实学习，有效增强了模型对模糊需求的鲁棒性。这些衍生研究共同印证了该数据作为代码智能体训练枢纽的广泛潜力。