open-thoughts/OpenThoughts-Agent-RL-5K

OpenThoughts-Agent-RL-5K是一个包含5,000个任务的强化学习任务集，用于对冷启动监督微调（SFT）模型进行强化学习（RL）微调，以生成最终的代理检查点。与SFT数据集包含完整的（任务，轨迹）对不同，该数据集包含可执行的代理任务（来自pymethods2test-large任务池），策略在沙箱中在线尝试；奖励来自测试验证器，而非存储的教师轨迹。数据集是OpenThoughts-Agent SFT-then-RL配方中的RL任务部分，旨在用于在线策略RL，由RL训练器消费，通过验证器评分并更新策略。它包含5,000行数据，每行对应一个任务，任务标识符为路径字段，任务二进制文件为gzip压缩的任务包（环境定义、源代码和测试），由terminus-2框架在Daytona沙箱中运行。

OpenThoughts-Agent-RL-5K is a 5,000-task reinforcement-learning task set used to RL-finetune the cold-start SFT model into the final agentic checkpoint. Unlike the SFT datasets, which hold full (task, trajectory) pairs, this dataset holds executable agentic tasks (the pymethods2test-large task pool) that the policy attempts on-line inside sandboxes; reward comes from the test verifier, not from a stored teacher trajectory. It is the RL-task half of the OpenThoughts-Agent SFT-then-RL recipe, intended for on-policy RL, consumed by an RL trainer that rolls out the policy against each task, scores it with the verifier, and updates the policy. The dataset contains 5,000 rows, each with a task identifier (path) and a gzip-compressed task bundle (task_binary) that includes environment definition, source, and tests, run under the terminus-2 harness inside Daytona sandboxes.

搜集汇总

数据集介绍

构建方式

OpenThoughts-Agent-RL-5K 数据集是从 pymethods2test-large 任务池中精心筛选出的 5,000 个可执行智能体任务构成。每个任务均作为自包含的软件工程环境，封装为经过 gzip 压缩的任务包（task_binary），包含环境定义、源代码及测试用例。该数据集专为在线强化学习设计，在 Daytona 沙箱内通过 terminus-2 框架让策略模型执行任务，其奖励信号直接来源于任务自带的测试验证器，无需依赖预存的教师轨迹。

特点

该数据集的核心特征在于其专为在线强化学习设计的任务分布特性。与采用完整（任务、轨迹）对的监督微调数据集截然不同，本数据集仅提供可执行的任务描述，不包含任何参考完成路径或标准答案。政策模型在沙箱环境中自主探索与试错，其表现由可靠的 oracle 测试验证器基于任务客观结果进行评判，从而生成真实、无偏的奖励信号，驱动模型持续进化。

使用方法

本数据集被强化学习训练器直接消费，典型应用场景为基于 SkyRL 与 RLOO 优势估计器的策略优化流程。在 OpenThoughts-Agent 框架中，训练器首先将任务派发给策略模型在沙箱中执行，随后根据测试验证器反馈的奖励分数更新模型参数。该数据集是 OpenThoughts-Agent 从冷启动 SFT 基座模型训练至最终 RL 检查点（OpenThinkerAgent-8B-RL）的关键中间环节，显著区别于监督式数据集的使用范式。

背景与挑战

背景概述

在人工智能体（Agent）研究领域，如何通过强化学习（RL）从冷启动的监督微调（SFT）模型训练出高性能的自主决策系统，是当前极具挑战性的前沿课题。OpenThoughts-Agent-RL-5K数据集由OpenThoughts团队于2026年创建，专注于解决软件工程环境中基于终端操作的智能体任务。该数据集包含5000个可执行的Python方法生成测试任务（pymethods2test-large），通过沙盒环境与测试验证器提供在线奖励信号，避免了传统SFT对教师轨迹的依赖。作为开源项目OpenThoughts-Agent的核心组成部分，它首次公开了从SFT到RL的完整配方，为构建具备自主代码生成与测试能力的智能体提供了关键基准，对推动强化学习在复杂软件工程任务中的应用具有里程碑式意义。

当前挑战

该数据集所面临的挑战首先体现在领域问题层面：传统智能体训练依赖监督学习复制人类演示，但难以泛化到未见过任务，而RL方法需要设计可执行的、奖励可靠的训练任务，同时必须解决策略探索与利用的平衡，以及在线采样带来的计算成本。在构建过程中，主要挑战包括如何从pymethods2test-large池中筛选出具有足够多样性和复杂度的5000个任务，确保每个任务在Daytona沙盒中可独立运行并生成明确的测试验证结果；其次，需要设计高效的RL训练框架（如SkyRL与RLOO优势估计器），以在有限资源下完成策略的在线更新，同时避免过拟合到特定任务分布。此外，数据集不使用预存轨迹，完全依赖策略自身探索，这对初始冷启动模型的探索能力提出了极高要求。

常用场景

经典使用场景

OpenThoughts-Agent-RL-5K作为强化学习任务集，其最经典的使用场景在于驱动智能体策略的在线演化。数据集包含5000个源自pymethods2test-large任务池的可执行软件工程环境，每个任务均封装为独立可运行的沙箱环境。在训练流程中，该数据集被用于对经过冷启动监督微调（SFT）的基础模型进行强化学习微调，策略模型在Daytona沙箱中与任务交互，并通过内置的测试验证器获得奖励信号。这一过程完全摒弃了教师轨迹的模仿学习范式，转而依靠智能体自身的探索与试错来优化决策能力，从而显著提升模型在未见任务上的泛化性能与适应性。

衍生相关工作

该数据集的发布催生了一系列围绕智能体强化学习的经典工作。最直接的工作便是OpenThoughts-Agent团队自身的训练管线，其提出的冷启动SFT接续RL的配方被后续研究广泛借鉴。此外，基于该任务集，研究人员开发了新型的奖励塑形方法，例如利用代码覆盖率作为辅助奖励信号来加速收敛。在算法层面，衍生工作探索了不同优势估计器（如RLOO与GAE）对智能体策略学习的影响，并对比了在线学习与离线学习在相同任务分布下的表现差异。这些工作不仅丰富了强化学习在智能体领域的理论工具箱，也推动了开源社区中关于数据驱动智能体训练的标准化进程。

数据集最近研究

最新研究方向

面向智能体深度强化学习的在线策略微调任务集构建，聚焦于利用可执行软件工程环境（如pymethods2test-large任务池）进行策略在线交互与测试验证器奖励驱动下的模型优化，代表了从监督式微调转向强化学习自我迭代的前沿范式，为自动化代码生成、软件测试修复等复杂智能体行为提供了高效的训练基准。