nemotron-code-oracle-qwen3.5-122b-opencode-sft

nemotron-code-oracle数据集是一个专为监督微调（SFT）设计的多轮智能体对话数据集。其内容来源于使用Qwen/Qwen3.5-122B-A10B-FP8模型（支持131k上下文，并开启验证器）生成的opencode编码智能体轨迹。数据集的核心价值在于其忠实还原了模型在推理和工具调用过程中的原始输出：每个助手（assistant）的回复轮次均直接从服务引擎的字面补全token IDs解码而来，完整保留了模型内部的真实推理过程（以`<think>…</think>`标记）以及其原生的opencode工具调用格式（`<tool_call><function=…><parameter=…>`）。系统提示和任务轮次从第一步的提示解码，而工具调用和观察结果轮次则来自原始轨迹。数据集中不包含字面token的行已被过滤。数据集主要包含以下字段：`conversations`字段采用ShareGPT格式（即`[{from: system|human|gpt, value}]`的列表）；`text`字段为扁平化的完整对话字符串，使用Qwen的`<|im_start|>`标记，并关键性地在每一轮都保留了推理内容（这与标准聊天模板会从历史中剥离`<think>`的做法不同）；此外还有`task`（任务描述）和`num_turns`（对话轮数）字段。该数据集适用于训练或微调能够进行复杂、多轮、工具增强型代码相关任务的对话模型。

The nemotron-code-oracle dataset is a multi-turn agent dialogue dataset specifically designed for supervised fine-tuning (SFT). Its content is derived from opencode-encoded agent trajectories generated using the Qwen/Qwen3.5-122B-A10B-FP8 model (which supports 131k context length and has the validator enabled). The core value of the dataset lies in its faithful reproduction of the models original output during reasoning and tool invocation: each assistant response turn is directly decoded from the literal completion token IDs of the serving engine, fully preserving the models internal reasoning process (marked with `<think>…</think>`) and its native opencode tool call format (`<tool_call><function=…><parameter=…>`). System prompts and task turns are decoded from the first-step prompt, while tool call and observation turns come from the original trajectory. Rows containing literal tokens have been filtered out. The dataset primarily includes the following fields: the `conversations` field uses the ShareGPT format (i.e., a list of `[{from: system|human|gpt, value}]`); the `text` field is a flattened complete dialogue string using Qwens `<|im_start|>` tokens, and crucially retains reasoning content in every turn (unlike standard chat templates that strip `<think>` from history); additionally, there are `task` (task description) and `num_turns` (number of dialogue turns) fields. This dataset is suitable for training or fine-tuning dialogue models capable of handling complex, multi-turn, tool-enhanced code-related tasks.

原始信息汇总

nemotron-code-oracle · Qwen3.5-122B-A10B · opencode · SFT 数据集详情

数据集概述

该数据集包含从 opencode 编码智能体轨迹中蒸馏得到的多轮智能体 SFT（监督微调）对话，对话由 Qwen/Qwen3.5-122B-A10B-FP8 模型（131k 上下文，验证器开启）生成。

数据生成方式

• 每个 assistant 轮次直接从推理引擎的完整完成 token ID 中逐字解码（RecordProxy 捕获），使用与 Qwen/Qwen3.5-122B-A10B-FP8 完全相同的分词器。
• 因此数据保留了模型真实的推理过程（<think>…</think>）和原生 opencode 工具调用格式（<tool_call><function=…><parameter=…>）。
• 系统轮次和任务轮次从第一步提示中解码；工具/观察轮次从轨迹中获取。
• 没有字面量 token 的行会被丢弃。

数据字段

• conversations：ShareGPT 格式 [{from: system|human|gpt, value}]
• text：使用 Qwen <|im_start|> 标记的扁平化对话。每个轮次均保留推理过程（标准聊天模板会从历史中移除 <think>，但该字符串不会，因此每个轮次的推理过程可用于 SFT）
• task：任务描述
• num_turns：对话轮次数

来源与转换

• 源轨迹：penfever/nemotron-code-oracle-filtered-qwen3.5-122b-131k-opencode-traces
• 转换方式：将字面量完成 token 通过 AutoTokenizer.from_pretrained("Qwen/Qwen3.5-122B-A10B-FP8") 转换为文本

标签

• sft、agent-traces、code、opencode
• 语言：英语（en）

搜集汇总

数据集介绍

构建方式

该数据集源自对Qwen3.5-122B-A10B-FP8模型在opencode编码代理轨迹中生成的多轮交互式监督微调（SFT）对话的精细提取与蒸馏。构建过程中，每一条助手回复均通过RecordProxy机制，从推理引擎的原生补全令牌ID中逐字解码，并严格采用Qwen3.5-122B-A10B-FP8对应的分词器，确保还原模型真实的推理过程（以<think>…</think>标签标识）及其原生opencode工具调用格式（如<tool_call><function=…><parameter=…>）。系统提示与任务回合从首步提示中解码，工具执行与观察结果回合则来源于后续轨迹，缺失原生令牌的行被剔除，从而保证了数据集的纯净与高质量。

特点

本数据集最显著的特征在于完整保留了模型在每一轮交互中的细粒度推理过程。不同于常规方法在历史记录中剥离<think>标签，该数据集通过独立的text字段，以Qwen<|im_start|>标记符忠实呈现每轮对话中附带的推理内容，使得面向推理的监督微调成为可能。此外，数据集采用ShareGPT标准格式组织对话（conversations字段），并附带任务描述（task）与回合数量（num_turns）信息，便于研究者进行深度分析与灵活应用。各字段设计兼顾了学术研究的严谨性与工程实践的易用性。

使用方法

该数据集适用于多轮代理对话的监督微调任务，尤其是需要增强模型推理能力与工具调用协同的场景。研究者可通过加载conversations字段中的ShareGPT格式数据进行标准SFT训练，或利用text字段中保留推理标记的平面文本，专门用于提升模型对推理路径的建模能力。数据集的源头轨迹和转换脚本已公开，支持用户追溯原始代理执行流程并复现构建过程。建议在训练时配合匹配的分词器（Qwen3.5-122B-A10B-FP8）使用，以确保令牌与文本的一致性对齐。

背景与挑战

背景概述

近年来，大语言模型在代码生成与智能体任务中展现出巨大潜力，然而如何有效利用智能体轨迹数据提升模型的多轮交互与推理能力仍是关键难题。在此背景下，由NVIDIA研究团队主导创建的nemotron-code-oracle-qwen3.5-122b-opencode-sft数据集于2025年发布，旨在通过蒸馏Qwen3.5-122B-A10B模型在opencode环境中的智能体轨迹，为监督微调提供高质量的对话数据。该数据集源于过滤后的opencode智能体追踪，保留了模型真实的推理过程（<think>标记）和原生工具调用，为研究多轮代码智能体行为模式、提升模型在复杂编码任务中的自主推理能力提供了重要资源，在代码生成和智能体对齐领域具有广泛影响力。

当前挑战

nemotron-code-oracle数据集面临的挑战首先体现在领域问题层面：如何将包含非结构化推理链和工具调用的智能体轨迹，转化为可用于监督微调的结构化、可复现的对话数据，同时保持模型在多轮交互中推理行为的真实性与一致性。在构建过程中，核心挑战在于轨迹的忠实还原，即通过RecordProxy捕获服务引擎的实际完成token ID，并利用精确匹配的分词器解码为文本，确保每一步智能体行为（包括推理、调用、观测）不被模板过滤或截断，同时丢弃无字面token的无效行，这对数据处理管线提出了极高要求。

常用场景

经典使用场景

在代码智能与多轮交互推理的交叉领域中，nemotron-code-oracle-qwen3.5-122b-opencode-sft数据集为研究者提供了一种极具代表性的监督微调（SFT）训练资源。该数据集源自Qwen3.5-122B-A10B模型在执行复杂编码任务时生成的完整agent交互轨迹，每条对话均保留了模型内部的推理链条（<think>标记）以及原生opencode工具调用格式。经典使用场景包括提升大语言模型在代码生成、bug修复、代码解释等任务上的多步推理能力，尤其适用于训练需要自主决策与工具调用的编码助手模型。通过该数据集的SFT训练，模型能够学会在长时间跨度内维持任务意图，并利用工具反馈动态调整策略，从而显著增强其在真实编程场景中的适应性与稳定表现。

衍生相关工作

该数据集的发布催生了一系列具有启发性的衍生研究方向。一方面，研究者基于其独特的agent交互格式，开发了针对工具调用行为优化的后训练策略，例如利用强化学习对模型在任务执行过程中的中间奖励进行建模，以实现更高效的代码生成路径规划。另一方面，数据集中保留的<think>推理标记激发了关于“推理链蒸馏”的新兴工作，旨在将大规模模型的隐式推理能力迁移至轻量级模型，以在资源受限环境中保持相近的编程辅助质量。此外，该数据集还与基准测试如HumanEval、SWE-bench结合使用，推动了代码理解与生成领域评估范式的革新，使评价指标更贴近真实开发流程中的多轮交互场景。

数据集最近研究

最新研究方向

当前前沿研究聚焦于利用大型语言模型生成的多轮智能体交互轨迹来增强代码生成能力。该数据集通过蒸馏Qwen3.5-122B-A10B模型在opencode环境中的智能体轨迹，保留了模型原生推理过程与工具调用细节，为监督微调提供了高质量的对话样本。这一方向紧密关联Agentic Coding热潮，即通过构建可执行复杂代码任务的自主智能体，推动软件开发自动化的边界。该数据集的意义在于，它不仅提供了真实的推理链和工具使用范例，还能使下游模型学习到精确的代码生成与调试逻辑，从而提升在复杂编程场景中的表现，为下一代智能编码助手的研发奠定数据基础。