open-thoughts/OpenThoughts-Agent-SFT-ColdStartForRL-10K

OpenThoughts-Agent-SFT-ColdStartForRL-10K是一个开源数据集，属于OpenThoughts-Agent项目的一部分，旨在为训练智能体（agents）提供最佳数据集。该数据集包含9,437个（任务，智能体轨迹）对，用于在强化学习（RL）之前进行冷启动监督微调（SFT），以教导基础模型智能体的交互格式和工具使用行为，从而使后续的强化学习更加稳定和样本高效。数据来源于SWE-Smith的沙盒编码任务，这些任务带有测试，并在terminus-2框架和Daytona沙盒中生成轨迹，经过验证（验证超时120秒）。每个数据行存储为多轮对话轨迹（conversations字段），采用角色/内容的消息格式（系统/用户/助手），适合直接用于监督微调。该数据集用于微调Qwen/Qwen3-8B模型，生成OpenThinkerAgent-8B-ColdStartSFTForRL模型，作为强化学习前的基座。OpenThoughts-Agent-SFT-ColdStartForRL-10K is an open-source dataset curated as part of the OpenThoughts-Agent effort to provide the best datasets for training agents. It contains 9,437 (task, agent-trajectory) pairs designed for cold-start supervised finetuning (SFT) to teach a base model the agentic format and behavior before reinforcement learning (RL), making subsequent RL stable and sample-efficient. The data is sourced from SWE-Smith sandboxed coding tasks with tests, generated in the terminus-2 harness inside Daytona sandboxes, and oracle-verified with a 120s verifier timeout. Each row is stored as a multi-turn agent trajectory in the `conversations` chat format with role/content messages (system/user/assistant), suitable for direct supervised finetuning. The dataset is used to fine-tune Qwen/Qwen3-8B to produce OpenThinkerAgent-8B-ColdStartSFTForRL, which serves as the pre-RL base.

搜集汇总

数据集介绍

构建方式

OpenThoughts-Agent-SFT-ColdStartForRL-10K 是 OpenThoughts-Agent 项目为强化学习前冷启动阶段精心构建的监督微调数据集。其构建过程依托于强大的教师模型，在名为 terminus-2 的智能体框架内，于 Daytona 沙箱环境中执行 SWE-Smith 软件工程编码任务，从而生成完整的多轮智能体交互轨迹。每条轨迹均经过验证器的严格校验，确保任务完成的质量与正确性，最终汇集了 9,437 条高质量的（任务，智能体轨迹）对，为基座模型注入格式遵循与工具使用的初始能力。

特点

该数据集的核心特色在于其作为强化学习前冷启动桥梁的独特定位，通过监督微调使基座模型掌握智能体交互的格式与行为模式，从而为后续强化学习阶段的稳定与高效奠定坚实基础。数据集中每条轨迹均以标准对话格式存储，包含系统、用户与助手的多轮消息序列，并附带详尽的元数据，如任务标识符、智能体类型、教师模型信息及验证结果，确保了数据的可追溯性与可控性。

使用方法

此数据集专为冷启动监督微调设计，直接适用于基于对话格式的序列微调流程。研究人员可将该数据集用于微调如 Qwen/Qwen3-8B 等基座模型，使其习得智能体所需的交互范式，得到的模型可作为强化学习前的预训练基础。随后，可衔接 OpenThoughts-Agent-RL-5K 策略优化数据集，完成从冷启动 SFT 到强化学习的完整训练流水线，最终产出具备强大工具使用能力的智能体模型。

背景与挑战

背景概述

在人工智能体研究蓬勃发展的浪潮中，如何为基座模型注入高效的交互与工具使用能力，使其能够可靠地执行复杂的软件工程任务，已成为核心研究命题。OpenThoughts-Agent-SFT-ColdStartForRL-10K数据集由OpenThoughts团队于2026年推出，旨在为智能体模型的强化学习训练提供高质量的冷启动监督微调数据。该数据集包含9,437条由教师模型在Daytona沙箱环境中使用terminus-2框架生成的多轮智能体轨迹，任务源自SWE-Smith沙箱编码问题，并经测试用例验证，确保轨迹的准确性与可靠性。其核心价值在于为后续强化学习阶段奠定稳定的行为基础，从而显著提升模型在复杂软件工程环境中的泛化与适应能力。该数据集与配套的模型及代码库共同构成了一个完整的开源智能体训练配方，对推动智能体模型从理论研究走向实际应用具有重要的示范意义。

当前挑战

该数据集所面临的挑战主要集中于两方面。在领域问题层面，如何让基座模型掌握智能体所需的精确交互格式与工具调用范式，避免在强化学习初期因策略探索不稳定而导致的低效学习，是亟待解决的关键难点。构建过程中的挑战则体现在：一是需保证每条轨迹在多轮对话中的逻辑连贯性与任务完成度，这要求教师模型具备极高的代理推理能力；二是数据生成依赖的Daytona沙箱环境与terminus-2框架的稳定性，以及长达120秒的验证超时设置，对工程部署与质量管控提出了严格要求；三是从近万条轨迹中筛选出对冷启动微调最有效的样本，需要兼顾任务多样性、轨迹质量与样本效率的平衡。

常用场景

经典使用场景

在智能体（Agent）与代码生成交叉的学术前沿，训练一个能够自主完成软件工程任务的语言模型往往面临冷启动难题——模型尚未掌握与环境交互的基本格式与工具调用范式。OpenThoughts-Agent-SFT-ColdStartForRL-10K 正是为此而生，其经典使用场景是作为强化学习前的监督微调（SFT）冷启动数据集。该数据集包含了 9,437 条由教师模型在沙盒化编程环境（SWE-Smith 任务）中生成的多轮智能体轨迹，每一条轨迹都经过预言机验证，涵盖了从系统指令到用户请求再到模型响应的完整对话结构。研究人员通常使用它对基础语言模型（如 Qwen3-8B）进行有监督微调，使其习得智能体交互格式与工具使用行为，从而为后续的强化学习训练提供稳定且高效的初始策略。

实际应用

在实际应用层面，该数据集具有鲜明的工程导向价值。它直接服务于自动化软件工程与智能编程助手的研发，具体场景包括：基于该数据集微调的模型可以在沙盒环境中自主完成代码编写、调试与测试验证任务，例如修复软件仓库中的已知缺陷、实现新功能模块或执行代码重构。由于数据集中的每条轨迹都来源于 SWE-Smith 沙盒化编程任务并经过测试验证，模型的训练成果可直接迁移至现实世界的软件开发流水线中，辅助开发者完成重复性编码工作。此外，该数据集遵循 SFT→RL 的两阶段方案，这意味着企业或研究机构可以此为基础，利用自有任务数据对模型进行类似冷启动训练，从而快速构建适应特定业务领域的专用智能体，大幅降低从零训练智能体模型的成本与风险。

衍生相关工作

该数据集的发布催生了一系列紧密相关的经典工作，形成了完整的智能体训练生态。其直接产物包括基于 Qwen3-8B 微调得到的冷启动检查点 OpenThinkerAgent-8B-ColdStartSFTForRL，以及在此基础上进一步强化训练后的最终模型 OpenThinkerAgent-8B-RL，后者代表了该两阶段配方所达到的最优性能。配套的 OpenThoughts-Agent-RL-5K 数据集则提供了用于强化学习的在线策略任务，与冷启动数据集构成了完整的训练流水线。此外，OpenThoughts-Agent 项目本身还开源了完整的研究代码库与模型集合，使得其他研究者能够复现、迁移或改进这一训练范式。这些衍生成果共同构建了一个从数据准备、模型微调到最终评估的闭环生态，推动了智能体模型在软件工程领域从理论研究走向工程落地。