cds-jb/cot-qwen3-8b

# CoT Oracle Corpus v5 (Qwen3-8B) — 10× rollouts, judged Reproduction of [`ceselder/cot-oracle-corpus-v5`](https://huggingface.co/datasets/ceselder/cot-oracle-corpus-v5) generated with `Qwen3-8B`, **10 distinct rollouts per problem** (vs the OG's 2), and categorized by a Qwen3.5-4B LLM judge. ## Stats - 202,400 entries (= 20,239 unique problems × 10 rollouts) - aggregate `cot_correct`: **92.4%** - per-problem majority-vote correct: **92.9%** (187,740/202,010) - IDs format: `<source>_<NNNNN>_r<rollout>` (globally unique) ## Per-source `cot_correct` | source | n | cot_correct | |---|---|---| | AQUA-RAT | 100000 | 93.8% | | CommonsenseQA | 38810 | 81.3% | | GSM8K | 35200 | 96.5% | | ARC-Easy | 9500 | 99.0% | | ASDiv | 9200 | 98.1% | | MATH | 5000 | 95.4% | | ARC | 4690 | 96.1% | ## Generation - model: `Qwen/Qwen3-8B` - engine: vLLM 0.20.0, bf16 - sampling: temperature=0.6, top_p=0.95, `enable_thinking=True` - token budget: max_new_tokens=16384 throughout (fixes the truncation that limited the OG) - 10 rollouts × 20,240 problems = 202,400 entries - 16 H200 data-parallel; ~4h wall ## Categorization A small LLM judge (Qwen3.5-4B) reads each row's CoT text and the ground truth and returns YES/NO/UNCLEAR. Categories: - `load_bearing`: cot ✓, direct ✗ (CoT was necessary) - `both_correct`: cot ✓, direct ✓ - `both_wrong`: cot ✗, direct ✗ - `cot_hurt`: cot ✗, direct ✓ - `judge_unclear`: judge couldn't decide on cot or direct Categories distribution: {'judge_unclear': 86027, 'both_correct': 104066, 'load_bearing': 4697, 'cot_hurt': 2708, 'both_wrong': 4902} The `judge_unclear` bucket is concentrated in MATH/AQUA-RAT, where the direct (no-thinking) response is capped at 200 tokens and often too brief for the judge to verify equivalence with the ground truth. Treat `judge_unclear` rows as "cot_correct true/false known but direct unknown" if you need a fallback partition. ## Schema Same as ceselder/cot-oracle-corpus-v5, plus: - `judge_cot_verdict`, `judge_direct_verdict`: raw YES/NO/UNCLEAR from judge - `rollout_majority_correct`: True if >50% of the 10 rollouts of the same problem are cot_correct - `rollout_n_correct`, `rollout_n_total`: per-problem count of correct rolloutsThe CoT Oracle Corpus v5 (Qwen3-8B) dataset is a reproduction of the original ceselder/cot-oracle-corpus-v5, generated using the Qwen3-8B model. It features 10 distinct rollouts per problem (compared to 2 in the original) and is categorized by a Qwen3.5-4B LLM judge. The dataset contains 202,400 entries, corresponding to 20,239 unique problems, with an aggregate cot_correct rate of 92.4% and a per-problem majority-vote correct rate of 92.9%. Data sources include AQUA-RAT, CommonsenseQA, GSM8K, ARC-Easy, ASDiv, MATH, and ARC, with cot_correct rates ranging from 81.3% to 99.0% per source. Generation was performed using the vLLM 0.20.0 engine with bf16 precision, sampling parameters temperature=0.6 and top_p=0.95, and enable_thinking=True, with a maximum of 16,384 new tokens. Categorization is based on the judges evaluation of CoT text and ground truth, resulting in five categories: load_bearing (CoT correct, direct incorrect), both_correct (both correct), both_wrong (both incorrect), cot_hurt (CoT incorrect, direct correct), and judge_unclear (judge unable to decide). The distribution shows judge_unclear as the most frequent (86,027 entries), followed by both_correct (104,066 entries). The schema extends the original with additional fields for judge verdicts and rollout statistics, such as rollout_majority_correct, rollout_n_correct, and rollout_n_total.

搜集汇总

数据集介绍

构建方式

立足于思维链推理评估对模型决策过程刻画的需求，该数据集复现并扩展 ceselder/cot-oracle-corpus-v5。构建以 Qwen/Qwen3-8B 为生成模型，在 vLLM 0.20.0、bf16 环境下，对 20,240 个问题分别独立采样 10 条思维链，参数为温度 0.6、top_p 0.95、enable_thinking=True，最大新生成 16384 token；16 张 H200 约四小时完成，得到 202,400 条条目。每条条目另由 Qwen3.5-4B 作为 LLM judge，读取思维链与标准答案，输出 YES/NO/UNCLEAR，并归入 load_bearing、both_correct、both_wrong、cot_hurt、judge_unclear 等类别。

特点

面向思维链必要性与误导性判别的研究场景，该数据集以十次独立 rollout 显著扩展原版两次采样的覆盖，ID 形如 <source>_<NNNNN>_r<rollout>，全局唯一。数据来源覆盖 AQUA-RAT、CommonsenseQA、GSM8K、ARC-Easy、ASDiv、MATH 与 ARC，聚合 cot_correct 达 92.4%，按问题多数投票正确率为 92.9%。类别分布包括 both_correct 104066、judge_unclear 86027、load_bearing 4697、cot_hurt 2708、both_wrong 4902；其中 judge_unclear 集中于 MATH/AQUA-RAT，源于直接回答受限 200 token 而难以判定等价。Schema 在原版基础上增补 judge_cot_verdict、judge_direct_verdict、rollout_majority_correct、rollout_n_correct、rollout_n_total。

使用方法

对于思维链贡献度分析、鲁棒性评估与答案等价性审核等任务，该数据集可加载后按 source、问题 ID 或 rollout 分组使用。借助 judge_cot_verdict 与 judge_direct_verdict 可比较思维链与直接作答的正确性，进而筛选 load_bearing 或 cot_hurt 样本；rollout_majority_correct、rollout_n_correct 与 rollout_n_total 支持问题层面的多数投票和一致性统计。遇到 judge_unclear 时，可将其视为 cot_correct 已知而 direct 未知的分区，或按研究设计剔除。使用时宜依据原版同构 schema 对齐字段，并注意直接回答 token 上限对判定覆盖的影响。

背景与挑战

背景概述

在大语言模型推理评估中，思维链被视为连接中间推理与最终答案的重要凭据。cot-qwen3-8b 是 CoT Oracle Corpus v5 的 Qwen3-8B 十次 rollout 重制版，公开说明未标注具体创建时间与主要研究人员或机构，但其谱系可追溯至 ceselder/cot-oracle-corpus-v5，生成模型为 Qwen/Qwen3-8B，评判模型为 Qwen3.5-4B。其核心研究问题在于判定思维链是否对答案正确性具有承载作用，抑或与直接作答同样正确、同样错误，甚至损害表现。数据集含 202,400 条，来自 20,239 个问题、每题 10 次采样，聚合 cot_correct 为 92.4%，多数投票正确率为 92.9%，覆盖 AQUA-RAT、CommonsenseQA、GSM8K、ARC-Easy、ASDiv、MATH、ARC 等来源，为思维链必要性、忠实性与规模化评估提供了资源。

当前挑战

围绕思维链必要性与危害性的判定，该数据集面对的首要领域难题是区分“思维链促成正确”与“直接作答已足够”，并量化 cot_hurt 等反例。其采用 Qwen3.5-4B 作为 LLM judge，对 CoT 与 direct 分别给出 YES/NO/UNCLEAR，类别包括 load_bearing、both_correct、both_wrong、cot_hurt、judge_unclear；其中 judge_unclear 达 86,027，集中于 MATH/AQUA-RAT，原因是 direct 无思考响应被限制在 200 tokens，常过短而难以验证与真值的等价性。构建过程中，十次 rollout 的大规模生成需依赖 vLLM 0.20.0、bf16、16 张 H200 约 4 小时，并统一采用 16,384 token 预算以规避截断；AQUA-RAT 占比高、CommonsenseQA 的 cot_correct 仅 81.3%，源分布不均衡与评判歧义共同约束了结论外推。

常用场景

经典使用场景

在大语言模型推理评测中，思维链语料长期被用于刻画模型从问题到答案的中间生成过程。cot-qwen3-8b 以 Qwen3-8B 为生成核心，对约两万道多源题目进行十次独立 rollout，并由 Qwen3.5-4B 裁判标注 CoT 与直答的判定结果，形成兼具规模与细粒度的 Oracle 语料。其经典场景在于比较启用 thinking 的思维链输出与受限直接回答，从而区分思维链是否承载关键推理步骤、是否与答案一致、是否需要多路径投票。研究者可借此观察 CoT 正确而直答错误、两者皆对、CoT 反而有害等状态，并计算逐题多数投票正确率。该场景为推理路径归因、测试时计算扩展和答案稳定性分析提供标准化观察窗口。

衍生相关工作

围绕 cot-oracle-corpus 范式，本数据集直接承接 ceselder/cot-oracle-corpus-v5，并以十次 rollout 和 Qwen3.5-4B 裁判扩展其可重复性与统计稳健性。相关经典工作脉络包括 CoT 忠实性与必要性探测、直答与思维链对照评测、多采样多数投票可靠性研究、LLM-as-judge 自动标注方法，以及基于 rollout 一致性的训练数据筛选与拒绝采样。该语料亦支撑对 Qwen3-8B thinking 模式边界的分析，并可作为推理蒸馏、过程奖励建模与错误分类器训练的上游资源。其 schema 中的裁判裁决与逐题聚合字段，延续并强化了 CoT Oracle 在推理评估与数据工程中的方法论影响。

数据集最近研究

最新研究方向

在思维链可解释性与推理忠实性研究持续升温的背景下，cot-qwen3-8b以Qwen3-8B对两万余道问题执行十次独立rollout，并由小型LLM裁判标注cot与direct结果，构建了面向CoT因果贡献的细粒度oracle语料。其前沿方向聚焦区分load_bearing、both_correct、both_wrong与cot_hurt，量化思维链在数学、常识及多步推理中的必要性、增益与潜在伤害；同时借助rollout_majority_correct与逐题正确计数，考察自一致性、测试时扩展和多数投票稳定性。该数据集为推理模型评估、CoT忠实性审计及裁判不确定性校准提供了可复现的大规模基准，对理解显式推理何时真正承载性能具有重要影响。