code-contests-noblock-qwen3.5-122b-131k-opencode-traces

该数据集是一个代理追踪数据集，包含AI模型在代理交互步骤中产生的令牌级输出数据。数据以列表的列表形式组织，每个内部列表对应一个交互回合，主要字段包括prompt_token_ids（提示令牌ID）、completion_token_ids（完成令牌ID）和logprobs（对数概率），这些是服务引擎逐字发出的原始令牌序列。数据集与特定模型（Qwen/Qwen3.5-122B-A10B-FP8）及其分词器紧密关联，解码时必须使用该确切分词器以避免文本错误。数据适用于分析模型在代理任务中的令牌生成行为、调试模型输出或进行细粒度的性能评估。

This dataset is an agent tracking dataset containing token-level output data generated by AI models during agent interaction steps. The data is organized as a list of lists, with each inner list corresponding to an interaction round. Key fields include prompt_token_ids (prompt token IDs), completion_token_ids (completion token IDs), and logprobs (log probabilities), which are raw token sequences emitted word-by-word by the service engine. The dataset is closely tied to a specific model (Qwen/Qwen3.5-122B-A10B-FP8) and its tokenizer, and decoding must use that exact tokenizer to avoid text errors. The data is suitable for analyzing model token generation behavior in agent tasks, debugging model output, or conducting fine-grained performance evaluations.

原始信息汇总

数据集概述

• 数据集名称：Agent trace dataset
• 标签：agent-traces, literal-tokens
• 主要用途：包含智能体（agent）在执行任务过程中的完整追踪数据，包括提示、补全和logprobs等信息。

数据集结构

• 关键列：
  • prompt_token_ids：提示的令牌ID列表。
  • completion_token_ids：补全的令牌ID列表。
  • logprobs：对应令牌的对数概率。
• 存储格式：每个智能体执行步骤的数据以“列表的列表”形式存储，即每个内部列表代表一次对话回合的令牌ID。

解码说明

• 解码要求：必须使用与模型服务时完全相同的分词器进行解码，否则解码出的文字内容会出现乱码。
• 模型来源：Qwen/Qwen3.5-122B-A10B-FP8（引擎报告的模型名称为 1783165012733068）。
• 解码示例代码： python from transformers import AutoTokenizer tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-122B-A10B-FP8") text = [tok.decode(turn, skip_special_tokens=False) for turn in completion_token_ids]

附加文件

• 数据集中包含 tokenizer_provenance.json 文件，可用于机器读取分词器的来源信息。

搜集汇总

数据集介绍

构建方式

本数据集名为code-contests-noblock-qwen3.5-122b-131k-opencode-traces，其构建源于对大型语言模型在代码竞赛任务中推理过程的细致追踪。数据通过部署Qwen/Qwen3.5-122B-A10B-FP8模型进行服务，并逐步骤记录模型生成的提示与补全token序列，每个智能体步骤对应一个内嵌列表，最终形成层次化的token轨迹集合。为确保token解码的准确性，构建过程中严格绑定了模型服务时所使用的原始分词器，避免了因使用通用同系列分词器导致的字符错乱问题。

使用方法

使用时，需先通过transformers库中的AutoTokenizer加载Qwen/Qwen3.5-122B-A10B-FP8模型对应的分词器。对于给定的completion_token_ids，由于其为列表之列表结构，每个内层列表代表一个回合的token序列，需对每个回合独立调用tok.decode方法并设置skip_special_tokens=False，以恢复原始文本。解码后的文本列表可用于后续的推理轨迹分析、模型行为研究或强化学习中的奖励建模等任务。

背景与挑战

背景概述

随着大语言模型在代码生成与智能代理领域的迅猛发展，精细化的代理轨迹数据成为推动模型行为理解与能力演进的关键资源。基于此背景，code-contests-noblock-qwen3.5-122b-131k-opencode-traces数据集应运而生，由研究团队依托Qwen3.5系列模型构建，旨在提供高保真的代码竞赛代理交互轨迹。该数据集记录了模型在多个回合中的原始token序列及对数概率，为分析代码生成过程中的决策模式与推理路径提供了独特视角。通过对Qwen/Qwen3.5-122B-A10B-FP8模型的真实服务日志进行结构化整理，数据集不仅支持对长上下文推理的深入研究，也为代理行为的可重复性评估与细粒度对齐提供了基准。其在智能体训练、行为克隆及推理优化等领域具有显著影响力，成为连接模型内部表征与外部行为的重要桥梁。

当前挑战

该数据集面临的核心挑战首先来自领域问题层面：代码竞赛任务本身要求模型具备深厚编程知识、逻辑推理与长序列规划能力，而现有模型常在稀疏奖励与复杂约束下产生偏差行为，难以稳定生成最优解。构建过程中，最大挑战在于token序列的精确解码与复现——由于使用特定分词器的Qwen3.5-122B模型服务，任何通用分词器都会导致解码结果失真，从而破坏数据的语义完整性。此外，多步代理轨迹的存储格式为列表嵌套结构，对数据解析与下游任务适配带来额外复杂性。如何确保每一步的token ID与模型推理时的原始上下文一致，以及在开源社区中推广标准化的解码流程，避免数据误用，亦是亟待解决的技术难题。

常用场景

经典使用场景

在代码生成与智能体推理的交叉领域中，code-contests-noblock-qwen3.5-122b-131k-opencode-traces数据集为研究者提供了一个弥足珍贵的资源。其最经典的使用场景在于对多轮交互式代码生成过程中智能体行为轨迹的精细化捕捉与建模。借助该数据集中完整保存的每一轮prompt与completion的token序列及其对应的logprobs，研究者能够系统性地剖析大语言模型在应对复杂编程竞赛题目时，如何逐步构建解决方案、何时进行错误修正以及如何利用上下文信息进行决策，从而为理解模型在代码生成任务中的思考路径提供坚实的实验基础。

解决学术问题

该数据集核心解决了长期困扰代码智能领域的'过程可解释性缺失'这一关键学术问题。传统代码生成研究多聚焦于最终代码的正确性评估，而忽视了模型从初始构思到最终产出的完整认知过程。通过记录每个agent步骤的原始token ID与对数概率，该数据集使得研究者能够追踪模型在不同阶段对token选择的置信度变化，量化其决策的不确定性，进而探索模型在面临代码错误时是否具备自我纠错能力，以及这种能力与模型规模、训练数据之间的内在关联。这对于推动代码生成领域从结果导向向过程导向的学术范式转变具有里程碑式的意义。

实际应用

在实际工程应用中，该数据集为构建更可靠的代码智能助手提供了精准的优化方向。基于轨迹数据，开发者可以训练出能够实时感知自身生成代码质量并主动调整策略的智能体系统。例如，在集成开发环境（IDE）中，这类智能体能够根据历史轨迹中低置信度token的出现提前预警潜在的代码错误，并在迭代过程中动态调整补全策略。此外，该数据集还可用于构建代码竞赛的自动化训练平台，通过模拟多个智能体在题目上的解题轨迹，筛选出最优的解题路径并形成高效的解题范例，从而大幅度提升人机协作编程的效率与准确度。

数据集最近研究

最新研究方向

该数据集聚焦于智能体交互轨迹的细粒度建模，尤其是通过保留字面级token ID与对数概率信息，为研究大语言模型在复杂多步任务中的推理路径与行为模式提供了高保真度的训练与评估资源。结合Qwen3.5-122B开源模型的最新进展，该数据集的发布标志着学界开始系统性地关注并量化模型在开放式代码竞赛场景下的决策过程与中间状态，从而推动可解释性、可复现性的前沿探索，并对智能体系统的鲁棒性与泛化能力研究产生深远影响。