Lina000007/SWE-ZERO-12M-trajectories

这是迄今为止最大的代理编码轨迹数据集：包含1120亿个令牌的无执行代理轨迹，覆盖122,000个拉取请求、3,222个代码仓库和16种编程语言。该数据集采用无执行管道生成，避免了Docker容器的限制，从而实现了大规模数据扩展和训练可扩展性。它包含12,290,800个rollouts，主要用于中训练阶段，旨在为模型注入代理工具使用先验，如驱动bash shell、导航仓库、读写文件等，但不涉及任务完成验证。

数据集配置：
- 配置名称：default
数据文件：
- 拆分方式：train
路径：data/train-*.parquet
许可证：Apache-2.0
任务类别：
- 文本生成
语言：
- 英语
标签：
- swe-zero
- 代码
- AI智能体（AI Agent）
- 预训练
数据规模区间：
- 1000万 < 样本量 < 1亿

# SWE-ZERO 1200万条智能体轨迹数据集
本数据集为目前规模最大的智能体编码轨迹数据集：**1120亿个Token**的无执行智能体轨迹，覆盖**12.2万个拉取请求（Pull Request, PR）**、**3200余个代码仓库**以及**16种编程语言**。

## 研究动机
智能体中间预训练已成为前沿编码大语言模型（Large Language Model, LLM）的标准配置环节：
- **Code World Model**（2025年9月）：基于5万亿Token进行中间预训练，使用来自3150余个仓库的10.2万个Docker镜像生成的300万条智能体轨迹。
- **Kimi-Dev**（2025年12月）：基于约1500亿Token的“高质量真实世界数据”进行中间预训练，以注入代码修复（BugFixer）与测试编写（TestWriter）的先验知识。
- **DeepSeek-V4**（2026年5月）：在中间预训练阶段融入智能体数据以提升编码能力。

上述三项工作均依赖**容器化执行**来验证智能体轨迹，这也成为了数据集规模的瓶颈所在。Kimi-Dev首次明确指出了这一问题：
> "尽管GitHub上可获取仓库快照，但并非所有快照都配备可执行的Docker运行环境。"

当前规模最大的容器化轨迹数据集**SWE-rebench-V2**仅提供3.2万个带有预构建镜像的任务，并受限于此瓶颈，额外发布了**12万余个无法容器化的任务**（数量为前者的4倍），仅附带安装说明与测试失败元数据——因为构建这些镜像的成本过高。

此前的**SWE-ZERO**工作首次提出了面向智能体软件工程（Software Engineering, SWE）训练数据的*无执行*流水线，并明确了Docker带来的两大瓶颈：
- **数据可扩展性瓶颈**：由于复杂或老旧的构建配置无法在现代容器化环境中运行，大量真实世界的仓库与拉取请求被丢弃。
- **训练可扩展性瓶颈**：编排数千个任务专属的Docker镜像会产生巨大的基础设施开销，使得大规模优化与强化学习（Reinforcement Learning, RL）的实现变得复杂。

SWE-ZERO通过要求模型不执行依赖项目本地环境的仓库专属命令（如`pytest`、`npm test`或构建脚本），规避了Docker的依赖要求。模型仍可使用无需额外配置的标准POSIX命令（如`grep`、`find`、`cat`、`sed`、`ls`、`git`等）探索与编辑仓库。此类命令均无需构建仓库或安装依赖，因此该流水线可适配任意GitHub拉取请求快照，解锁了此前流水线不得不丢弃的长尾PR数据集。

SWE-ZERO曾发布**90亿Token**的数据集，而本工作沿用该无执行方案，将数据集规模扩大了**10倍，达到1120亿Token**。本次数据集的覆盖范围包括：
- 1229.08万条智能体交互轨迹
- 12.29万个独特拉取请求
- 3222个代码仓库
- 16种编程语言

据我们所知，本数据集规模较此前最大的智能体轨迹数据集`open-thoughts/AgentTrove`提升了**5.7倍**（1110.6亿Token vs 194.1亿Token）：

| 数据集名称 | 发布时间 | 交互轨迹数 | 总Token数 |
|---|---|---:|---:|
| `ricdomolm/mini-coder-trajs-400k` | 2025-09-30 | 396,515 | 52.6亿 |
| `nvidia/Nemotron-Terminal-Corpus` | 2026-02-19 | 366,154 | 62.3亿 |
| `nvidia/SWE-Zero-openhands-trajectories`（原始SWE-ZERO发布版本） | 2026-04-17 | 318,115 | 89.2亿 |
| `open-thoughts/AgentTrove` | 2026-04-27 | 1,696,847 | 194.1亿 |
| **`AlienKevin/SWE-ZERO-12M-trajectories`（本数据集，10倍扩容版）** | **2026-05-12** | **1229.08万** | **1110.6亿** |

## 实验验证
### 多样性检验（MinHash-64）
我们沿用《Code World Model》论文中的多样性检验方案，基于bash命令的Shingle特征计算同一PR下各交互轨迹间的平均Jaccard相似度，阈值为0.5，低于该值则视为轨迹具有多样性。本次数据集的平均相似度为**0.2730**，远低于阈值。

### 训练效果验证
为验证该轨迹数据可有效迁移至模型能力提升，我们基于本数据集早期快照（提交ID [`@ab6295c3`](https://huggingface.co/datasets/AlienKevin/SWE-ZERO-12M-trajectories/tree/ab6295c37153e938c871d4021c4457379e67396e)，包含160万条交互轨迹/184亿Token）的三个子集，对Marin-8B基础模型进行微调，并在**SWE-bench Verified**基准上进行评估（随机选取100个任务，使用mini-swe-agent v1 + Harbor框架，每个模型运行3次，采样温度为1.0）：

| 训练数据集 | 交互轨迹数 | Token数 | 平均修复率 |
|---|---:|---:|---:|
| Marin-8B 基础模型 | 无 | 无 | **0.0 %** |
| SWE-ZERO训练数据 | 10,000 | ~10亿 | **3.3 % ± 0.6** |
| SWE-ZERO训练数据 | 50,000 | ~57亿 | **4.0 % ± 2.0** |
| SWE-ZERO训练数据 | 100,000 | ~110亿 | **5.3 % ± 1.5** |


我们测试的110亿Token区间内，模型修复率随训练数据量呈线性缩放。为简化实验流程，本次微调采用标准的监督微调（Supervised Fine-Tuning, SFT）掩码损失方案，但本数据集的定位为**中间预训练语料库**。下游模型应基于专用的SFT数据集进一步微调，例如[`open-thoughts/AgentTrove`](https://huggingface.co/datasets/open-thoughts/AgentTrove)、[`nvidia/SWE-Hero-openhands-trajectories`](https://huggingface.co/datasets/nvidia/SWE-Hero-openhands-trajectories)以及[`ricdomolm/mini-coder-trajs-400k`](https://huggingface.co/datasets/ricdomolm/mini-coder-trajs-400k)。完整实验方法、单任务拆解及其他细节可参见：[marin-community/marin#4898 (评论)](https://github.com/marin-community/marin/issues/4898#issuecomment-4283675417)。

## 数据集构建方法
每条交互轨迹均始于[`nebius/SWE-rebench-V2-PRs`](https://huggingface.co/datasets/nebius/SWE-rebench-V2-PRs)中的真实GitHub PR快照，该数据集包含覆盖3222个仓库的真实软件工程任务。我们基于[`ricdomolm/mini-coder-1.7b`](https://huggingface.co/ricdomolm/mini-coder-1.7b)（一款参数量仅17亿的轻量编码模型，在SWE-bench Verified基准上的pass@100得分达50.4），以采样温度1.0为每个PR生成**100条独立的多轮交互轨迹**。交互轨迹遵循[`mini-swe-agent` v1](https://github.com/SWE-agent/mini-SWE-agent)格式：由`messages`列表组成，其中智能体每轮输出一条bash命令，测试框架返回该命令的执行结果。

沿用SWE-ZERO的方案，本次轨迹生成全程**无执行操作**：未构建任何容器、未执行任何测试、未调用任何验证器。这正是本数据集得以实现大规模扩容的核心。

## 数据字段规范
| 字段名 | 类型与说明 |
|-------|------------|
| `instance_id` | 字符串类型 —— PR唯一标识符 |
| `repo` | 字符串类型 —— 仓库格式为`owner/name` |
| `messages` | 列表类型[{role, content}] —— 多轮智能体交互轨迹 |
| `trajectory_format` | 字符串类型 —— 轨迹格式为`mini-swe-agent-1` |
| `exit_status` | 字符串类型 —— 轨迹终止状态，如`Submitted`、`incomplete`等 |
| `duration_sec` | 浮点数类型（float64） —— 轨迹生成的实际耗时（秒） |

## 采样参数设置
| 参数设置 | 参数值 |
|---------|-------|
| 单轨迹最大轮次 | 15 |
| 每个PR的采样轨迹数 | 100 |
| 采样温度 | 1.0 |
| 模型最大上下文长度（vLLM） | 32768个Token |
| 单批次最大序列数（vLLM） | 256 |
| 单轨迹最大Token数 | 32768 |

## 数据集局限性
本数据集为**中间预训练语料库**，而非监督微调数据集，请根据其定位合理使用。
- **以技能习得而非任务完成为目标**：本语料库的目标是大规模为基础模型注入**智能体工具使用先验知识**，包括如何操作bash shell、导航仓库、读写文件以及将思考与操作交替进行。其并非用于教会模型端到端解决SWE-bench风格的任务，此类需求应通过下游强化学习与监督微调环节实现。
- **无正确性验证**：由于SWE-ZERO方案采用无执行模式，所有轨迹均未经过真实测试用例验证。我们无法保证生成的补丁可编译、可正确应用或通过测试。我们刻意以正确性为代价，换取了数据集规模与仓库覆盖范围的提升。
- **提交成功率较低**：多数轨迹无法达到`Submitted`的成功终止状态；大量轨迹以`incomplete`或其他终止条件结束。若仅保留干净的成功提交轨迹，将丢失绝大多数语料数据。
- **15轮截断限制**：为控制99分位的Token消耗并维持高吞吐率，所有轨迹均被截断至15轮模型交互。许多任务无法在15轮内完成，轨迹会在调查过程中提前终止。

不过，此前的研究表明这些局限性在实际应用中影响有限。**SERA**与**NemotronTerminal**均报告下游监督微调模型的性能对不完整、失败或长度截断的轨迹具有鲁棒性。具体而言，NemotronTerminal的表7显示，**不进行任何过滤（12.4%）**的性能显著优于**仅保留完整轨迹（6.74%）**和**仅保留成功轨迹（5.06%）**的过滤策略。我们使用Qwen3-1.7-Base模型开展的实验也验证了这一点：即使仅使用本数据集中截断至8K Token的10万个样本进行微调，模型在SWE-bench Verified基准上的得分仍可达**9%**，尽管多数轨迹并未以补丁提交作为结束。完整细节可参见[marin-community/marin#5611 (评论)](https://github.com/marin-community/marin/issues/5611#issuecomment-4440640008)。

## 致谢
感谢[TPU Research Cloud](https://sites.research.google/trc/about/)为本项目提供全部计算资源支持！

## 引用格式
bibtex
@misc{li2026swezero12m,
author = {Xiang Li},
title = {{SWE-ZERO-12M-trajectories: 112B Tokens of Execution-Free Agentic Trajectories}},
year = {2026},
publisher = {Hugging Face},
howpublished = {url{https://huggingface.co/datasets/AlienKevin/SWE-ZERO-12M-trajectories}},
}