traj-olmo31-32b-think-ot3-s4-logprobs

该数据集采用 Apache-2.0 许可，标签包括 distillation、logprobs、olmo。它提供 Olmo-3.1-32B-Think 教师模型在 OpenThoughts3-math 提示上生成轨迹的逐 token 教师 log-probabilities，目的是用于 Olmo-3-7B-Base 学生模型的 logit（off-policy）蒸馏。数据集对应原始轨迹数据集 mhseo2/traj-olmo31-32b-think-ot3-s4-raw，覆盖 53,105 个 OpenThoughts3-math prompts，每个 prompt 采样 4 条样本，总计 212,420 条样本/轨迹。生成模型为 allenai/Olmo-3.1-32B-Think，revision 为 97ade57a9cc55ed48bcd76be4b7a3b6fee61b80d，采样参数为 temperature 0.6、top_p 0.95。数据中的 logprobs 为 raw logprobs：对完整词表做 T=1 log-softmax 后、温度与 top-p 调整之前的值，由 vLLM 0.11.2 的 logprobs_mode=raw_logprobs 模式产生，覆盖每个生成 token。对于每个 token，数据还提供排名前 32 的下一 token 及其 logprob，排名为 1..32，并额外给出实际被采样 token 的 logprob，该 token 可能不在 top-32 内。数据以 logprobs/<shard>.lp.npz 形式存储，使用 numpy.savez_compressed。每个分片中的每个样本键包含以下数组：<key>/lp 形状为 [T]，dtype 为 float16，表示每个位置采样 token 的 logprob；<key>/topk_ids 形状为 [T, 32]，dtype 为 int32，表示按排名顺序排列的 top-32 token id；<key>/topk_lp 形状为 [T, 32]，dtype 为 float16，表示这些 top-32 token 的 logprob。样本键 <key> 的格式为 ot3/<index>/s<sample>，其中 index 为 0..53104，sample 为 0..3，与原始数据集中 text/token 分片的 key 字段一致；位置 t 与原始数据中的 token_ids[t] 对齐。两个仓库的分片名称匹配：原始数据集为 <shard>.jsonl.gz，本数据集为 <shard>.lp.npz。此外，manifest.json 记录模型 sha、vLLM/transformers 版本、引擎与采样参数以及 chat 模板 sha256；prompt_ids.jsonl.gz 保存每个样本生成时使用的渲染后 prompt token ids，格式为 {index, prompt_ids}，采用 Olmo chat 模板、默认系统提示，生成提示以 <|im_start|>assistant <think> 结尾。数据生成于 BSC MareNostrum 5（H100，TP=2）；名为 cen* 的分片在 B200、TP=1 上使用相同代码、vLLM 与 transformers 版本生成。适用场景包括教师 logits/logprobs 蒸馏、off-policy 蒸馏，以及基于 OpenThoughts3-math 轨迹的数学推理相关蒸馏与建模。This dataset is licensed under Apache-2.0, with tags distillation, logprobs, and olmo. It provides per-token teacher log-probabilities for trajectories generated by the Olmo-3.1-32B-Think teacher model on OpenThoughts3-math prompts, intended for logit (off-policy) distillation into the Olmo-3-7B-Base student model. The dataset corresponds to the raw trajectory dataset mhseo2/traj-olmo31-32b-think-ot3-s4-raw, covering 53,105 OpenThoughts3-math prompts, with 4 samples per prompt, totaling 212,420 samples/trajectories. The generating model is allenai/Olmo-3.1-32B-Think, revision 97ade57a9cc55ed48bcd76be4b7a3b6fee61b80d, with sampling parameters temperature 0.6 and top_p 0.95. The logprobs in the data are raw logprobs: values after T=1 log-softmax over the full vocabulary and before temperature and top-p adjustments, produced by vLLM 0.11.2 in logprobs_mode=raw_logprobs mode, covering every generated token. For each token, the data also provides the top 32 next tokens and their logprobs, ranked 1..32, plus the logprob of the actually sampled token, which may not be within the top 32. Data are stored as logprobs/<shard>.lp.npz using numpy.savez_compressed. Each sample key in each shard contains the following arrays: <key>/lp with shape [T], dtype float16, representing the logprob of the sampled token at each position; <key>/topk_ids with shape [T, 32], dtype int32, representing the top-32 token ids in ranked order; <key>/topk_lp with shape [T, 32], dtype float16, representing the logprobs of these top-32 tokens. The format of the sample key <key> is ot3/<index>/s<sample>, where index is 0..53104 and sample is 0..3, consistent with the key field in the text/token shards of the original dataset; position t aligns with token_ids[t] in the original data. Shard names match between the two repositories: the original dataset uses <shard>.jsonl.gz, while this dataset uses <shard>.lp.npz. In addition, manifest.json records the model sha, vLLM/transformers versions, engine and sampling parameters, and chat template sha256; prompt_ids.jsonl.gz stores the rendered prompt token ids used when generating each sample, in the format {index, prompt_ids}, using the Olmo chat template, the default system prompt, and generation prompts ending with <|im_start|>assistant <think>. Data were generated on BSC MareNostrum 5 (H100, TP=2); shards named cen* were generated on B200, TP=1 using the same code, vLLM, and transformers versions. Applicable scenarios include teacher logits/logprobs distillation, off-policy distillation, and distillation and modeling related to mathematical reasoning based on OpenThoughts3-math trajectories.

原始信息汇总

数据集总结

基本信息

• 数据集页面：https://huggingface.co/datasets/mhseo2/traj-olmo31-32b-think-ot3-s4-logprobs
• 许可证：apache-2.0
• 标签：distillation、logprobs、olmo
• 标题：Olmo-3.1-32B-Think teacher logprobs on OpenThoughts3-math (4 samples per prompt)

数据来源与规模

• 内容：OpenThoughts3-math 轨迹中每个 token 的教师 log-probabilities。
• 对应轨迹数据集：https://huggingface.co/datasets/mhseo2/traj-olmo31-32b-think-ot3-s4-raw
• 规模：53,105 个 OpenThoughts3-math prompts × 4 samples。
• 教师模型：https://huggingface.co/allenai/Olmo-3.1-32B-Think，revision 97ade57a9cc55ed48bcd76be4b7a3b6fee61b80d。
• 采样参数：temperature 0.6，top_p 0.95。
• 用途：用于 Olmo-3-7B-Base student 的 logit（off-policy）蒸馏。

log-probabilities 说明

• raw logprobs：完整词表上的 T=1 log-softmax，未经 temperature 与 top-p 调整；对应 vLLM 0.11.2 的 logprobs_mode="raw_logprobs"；覆盖每个生成 token。
• Top-32：每个 token 提供 32 个最可能下一 token，按排名 1..32 排列；同时提供实际采样 token 的 logprob，该 token 可能不在 top-32 中。

文件布局

• 主文件路径模式：logprobs/<shard>.lp.npz，格式为 numpy.savez_compressed。
• 每个 sample key 包含：

数组	形状	dtype	内容
<key>/lp	[T]	float16	每个位置实际采样 token 的 logprob
<key>/topk_ids	[T, 32]	int32	top-32 token ids，按 rank 顺序
<key>/topk_lp	[T, 32]	float16	top-32 token 对应的 logprobs

• <key> 格式：ot3/<index>/s<sample>，其中 index 为 0..53104，sample 为 0..3；与 raw 数据集中 text/token shards 的 key 字段一致。
• 位置 t 与 raw 数据集中的 token_ids[t] 对齐。
• Shard 名称在两个仓库间匹配：raw 仓库为 <shard>.jsonl.gz，本仓库为 <shard>.lp.npz。

附加文件

• manifest.json：记录 model sha、vLLM / transformers 版本、engine、采样参数以及 chat template sha256。
• prompt_ids.jsonl.gz：保存每个样本生成时使用的渲染后 prompt token ids，格式为 {"index", "prompt_ids"}；使用 Olmo chat template、默认 system prompt、生成 prompt 以 <|im_start|>assistant <think> 结尾。

生成环境

• 在 BSC MareNostrum 5（H100，TP=2）生成。
• 名为 cen* 的 shards 在 B200 上以 TP=1 生成，使用相同代码、vLLM 和 transformers 版本。

搜集汇总

数据集介绍

构建方式

在大语言模型推理能力迁移的离线知识蒸馏场景中，该数据集以 OpenThoughts3-math 的 53,105 条数学提示为任务载体，对每条提示经 Olmo-3.1-32B-Think 教师模型生成 4 条轨迹。采样阶段采用温度 0.6 与 top_p 0.95，借助 vLLM 0.11.2 的 raw_logprobs 模式，对每个生成词元计算全词表 T=1 log-softmax，并将其与 top-32 候选词元标识及对应对数概率一并保存，形成供 Olmo-3-7B-Base 学生模型进行离策略 logit 蒸馏的逐词元监督信号。

使用方法

在离线 logit 蒸馏的实际训练流程中，研究者可依据样本键 ot3/<index>/s<sample> 将 logprobs 分片与原始轨迹数据集中对应分片的文本及词元序列逐一匹配，利用位置 t 与 token_ids[t] 的对齐关系读取 lp、topk_ids 与 topk_lp。基于这些逐词元教师分布，可构建 top-k 交叉熵或 KL 型蒸馏目标，引导 Olmo-3-7B-Base 学生模型拟合教师模型的 logit 结构。若需复现生成条件，可读取 prompt_ids.jsonl.gz 与 manifest.json，并注意 raw logprobs 未施加温度缩放与 top-p 截断。

背景与挑战

背景概述

在开放大语言模型蒸馏与数学推理研究交汇处，traj-olmo31-32b-think-ot3-s4-logprobs 由 Hugging Face 用户 mhseo2 构建，以 OpenThoughts3-math 为提示来源，采集 AllenAI Olmo-3.1-32B-Think 在 53,105 条提示、每条四例采样下的逐 token 教师对数概率，服务于 Olmo-3-7B-Base 学生的 logit 离策略蒸馏。其核心研究问题在于，以细粒度分布监督替代单一文本序列监督，缓解推理轨迹中的错误累积、分布偏移与监督稀疏。数据集依托 BSC MareNostrum 5 等算力生成，采用 vLLM 0.11.2 与固定模型修订，为开放蒸馏社区提供可复现、可追溯的概率级监督资源。

当前挑战

该数据集所应对的领域难题，在于数学推理蒸馏需保留教师对每个 token 的完整概率景观，而非仅记录采样所得序列；温度与 top-p 采样会遮蔽原始分布，故须保存 T=1 log-softmax 的 raw logprobs、rank 1 至 32 的候选词元及其对数概率，以及可能位于 top-32 之外的采样词元概率。构建过程中，五万余提示乘四样本带来海量序列与存储压力，需借助 float16、压缩 npz 和分片键对齐策略实现可扩展管理；在 H100 与 B200、张量并行配置切换时，还须严格同步模型修订、vLLM/transformers 版本、聊天模板与 prompt ids，以保障逐位置对齐和元数据可追溯。

常用场景

经典使用场景

在大语言模型知识蒸馏与数学推理能力迁移的语境中，该数据集最经典的使用场景是面向Olmo-3-7B-Base学生的离策略logit蒸馏。它汇集Olmo-3.1-32B-Think教师在53,105条OpenThoughts3-math提示上的四条采样轨迹，为每个生成token保存T=1全词表log-softmax原始对数概率、前32个候选token的编号与对数概率，以及实际采样token的对数概率。研究者可据此构造教师分布监督信号，训练学生拟合教师输出分布，提升数学推理轨迹的生成质量，并为稀疏top-k蒸馏与温度校准研究提供统一素材。

解决学术问题

针对logit蒸馏中长期存在的教师分布获取困难、采样后概率失真与复现性不足等学术问题，该数据集提供了温度与top-p变换前的raw logprobs，并保留top-32候选及被采样token概率，使研究者能够区分原始教师偏好与采样策略影响。其价值在于支持off-policy轨迹上的前向KL、交叉熵或top-k匹配分析，考察学生模型对教师分布的逼近程度，亦可用于研究数学推理链中的不确定性、分布偏移与稀疏监督信号。标准化布局和manifest记录增强了实验可比性，为蒸馏算法评测提供可审计基准。

实际应用

在模型压缩与低成本推理部署的实际需求下，该数据集服务于以Olmo-3-7B-Base为代表的小规模学生模型训练，可应用于数学解题助手、教育问答系统、逐步推理生成器以及需要可控算力预算的科研原型。借助逐token教师对数概率，开发者能够在不调用32B教师在线推理的情况下进行离线蒸馏，降低训练管线对教师服务的依赖；top-32概率还便于实现稀疏logit匹配，减少存储与计算开销。其分片npz与prompt_ids设计，适合大规模并行训练、断点续训和消融实验，为数学推理场景中的模型小型化提供数据基础。

数据集最近研究

最新研究方向

面向大语言模型推理能力高效迁移的前沿探索，该数据集将Olmo-3.1-32B-Think在OpenThoughts3-math上生成的53,105条提示词、每条4个采样轨迹转化为逐词元教师对数概率监督，服务于离线logit蒸馏至Olmo-3-7B-Base学生模型。其核心方向在于以原始全词表log-softmax与top-32候选分布，突破传统序列级监督的信息瓶颈，使小型模型能够学习教师的不确定性、候选排序与数学推理路径。该工作与开放推理模型复现、教师-学生分布对齐及测试时缩放等热点相呼应，为可复现的软标签蒸馏、采样温度与top-p偏差校正研究提供了大规模基础设施，并推动高效数学推理模型的训练范式发展。