cds-jb/cot-qwen35-9b

# CoT Oracle Corpus v5 (Qwen3.5-9B) — 10× rollouts, judged Reproduction of [`ceselder/cot-oracle-corpus-v5`](https://huggingface.co/datasets/ceselder/cot-oracle-corpus-v5) generated with `Qwen3.5-9B`, **10 distinct rollouts per problem** (vs the OG's 2), and categorized by a Qwen3.5-4B LLM judge. ## Stats - 202,400 entries (= 20,239 unique problems × 10 rollouts) - aggregate `cot_correct`: **88.1%** - per-problem majority-vote correct: **92.5%** (185,650/200,660) - IDs format: `<source>_<NNNNN>_r<rollout>` (globally unique) ## Per-source `cot_correct` | source | n | cot_correct | |---|---|---| | AQUA-RAT | 100000 | 88.2% | | CommonsenseQA | 38810 | 81.2% | | GSM8K | 35200 | 90.9% | | ARC-Easy | 9500 | 98.5% | | ASDiv | 9200 | 94.1% | | MATH | 5000 | 82.8% | | ARC | 4690 | 95.8% | ## Generation - model: `Qwen/Qwen3.5-9B` - engine: vLLM 0.20.0, bf16 - sampling: temperature=0.6, top_p=0.95, `enable_thinking=True` - token budget: max_new_tokens=16384 throughout (fixes the truncation that limited the OG) - 10 rollouts × 20,240 problems = 202,400 entries - 16 H200 data-parallel; ~4h wall ## Categorization A small LLM judge (Qwen3.5-4B) reads each row's CoT text and the ground truth and returns YES/NO/UNCLEAR. Categories: - `load_bearing`: cot ✓, direct ✗ (CoT was necessary) - `both_correct`: cot ✓, direct ✓ - `both_wrong`: cot ✗, direct ✗ - `cot_hurt`: cot ✗, direct ✓ - `judge_unclear`: judge couldn't decide on cot or direct Categories distribution: {'both_correct': 92092, 'judge_unclear': 38086, 'load_bearing': 60261, 'cot_hurt': 2640, 'both_wrong': 9321} The `judge_unclear` bucket is concentrated in MATH/AQUA-RAT, where the direct (no-thinking) response is capped at 200 tokens and often too brief for the judge to verify equivalence with the ground truth. Treat `judge_unclear` rows as "cot_correct true/false known but direct unknown" if you need a fallback partition. ## Schema Same as ceselder/cot-oracle-corpus-v5, plus: - `judge_cot_verdict`, `judge_direct_verdict`: raw YES/NO/UNCLEAR from judge - `rollout_majority_correct`: True if >50% of the 10 rollouts of the same problem are cot_correct - `rollout_n_correct`, `rollout_n_total`: per-problem count of correct rollouts# 思维链（Chain of Thought, CoT）神谕语料库v5（Qwen3.5-9B）——10轮展开，经标注审核 本数据集复刻自 [`ceselder/cot-oracle-corpus-v5`](https://huggingface.co/datasets/ceselder/cot-oracle-corpus-v5)，由`Qwen3.5-9B`模型生成，**每个问题生成10轮独立展开结果**（原版数据集仅为2轮），并经`Qwen3.5-4B`大语言模型（Large Language Model, LLM）完成标注审核。 ## 统计信息 - 共202400条数据（即20239个独特问题 × 10轮展开） - 整体思维链正确率（`cot_correct`）：**88.1%** - 按问题多数投票判定的正确率：**92.5%**（185650/200660） - 数据ID格式：`<数据源>_<NNNNN>_r<轮次编号>`（全局唯一） ## 分数据源思维链正确率 | 数据源 | 样本量 | 思维链正确率 | |---|---|---| | AQUA-RAT | 100000 | 88.2% | | CommonsenseQA | 38810 | 81.2% | | GSM8K | 35200 | 90.9% | | ARC-Easy | 9500 | 98.5% | | ASDiv | 9200 | 94.1% | | MATH | 5000 | 82.8% | | ARC | 4690 | 95.8% | ## 生成配置 - 模型：`Qwen/Qwen3.5-9B` - 推理引擎：vLLM 0.20.0，bf16精度 - 采样参数：temperature=0.6，top_p=0.95，`enable_thinking=True`（开启思维链生成） - 令牌预算：全程设置最大新生成令牌数为16384，解决了原版数据集存在的截断限制问题 - 10轮展开 × 20240个问题 = 202400条数据 - 采用16张H200显卡进行数据并行推理，总耗时约4小时 ## 标注分类 本次标注由轻量化大语言模型（Qwen3.5-4B）完成，该模型会读取每条数据的思维链文本与标准答案，返回「是/否/不确定」三类结果。具体分类如下： - `load_bearing`：思维链正确，直接回答错误（思维链为必要推理步骤） - `both_correct`：思维链与直接回答均正确 - `both_wrong`：思维链与直接回答均错误 - `cot_hurt`：思维链错误，直接回答正确 - `judge_unclear`：标注模型无法判定思维链与直接回答的正确性 各类别分布：`{'both_correct': 92092, 'judge_unclear': 38086, 'load_bearing': 60261, 'cot_hurt': 2640, 'both_wrong': 9321}` > 注：`judge_unclear`类别主要集中于MATH与AQUA-RAT数据集，这类数据的直接回答（无思维链）被限制在200个令牌以内，通常过于简短，导致标注模型无法验证其与标准答案的一致性。若需要备用划分策略，可将`judge_unclear`类数据视为「思维链正确与否已知，但直接回答正确性未知」。 ## 数据Schema 本数据集的字段格式与`ceselder/cot-oracle-corpus-v5`完全一致，新增字段如下： - `judge_cot_verdict`、`judge_direct_verdict`：标注模型返回的原始判定结果，取值为YES/NO/UNCLEAR - `rollout_majority_correct`：若同一问题的10轮展开结果中超过50%被判定为思维链正确，则该字段为`True` - `rollout_n_correct`、`rollout_n_total`：分别为每个问题的正确展开结果数与总展开结果数

搜集汇总

数据集介绍

构建方式

在思维链推理数据日益成为评估与剖析大语言模型推理机制之关键资源的背景下，cot-qwen35-9b 致力于复现并扩展 ceselder/cot-oracle-corpus-v5。该数据集以 Qwen/Qwen3.5-9B 为生成模型，借助 vLLM 0.20.0 与 bf16 精度执行推理，采样参数设为 temperature=0.6、top_p=0.95、enable_thinking=True，最大新词元数为16384。针对约2.02万个唯一问题，每题生成10条彼此独立的rollout，共汇集202,400条样本；生成过程部署于16张H200之上，采用数据并行，耗时约4小时。Qwen3.5-4B作为小型LLM裁判，逐行读取思维链文本与真实答案，给出YES/NO/UNCLEAR判决，并据此归纳类别。

使用方法

在分析思维链必要性、冗余性与稳定性的研究场景中，cot-qwen35-9b 可依据来源、cot_correct、judge_cot_verdict、judge_direct_verdict及类别字段进行分层筛选。比较load_bearing与cot_hurt可考察CoT对答案的增益或损害，both_correct与both_wrong则揭示直接推理与思维链一致或共同失效的情形。借助rollout_majority_correct、rollout_n_correct与rollout_n_total，研究者可在问题层面聚合多次采样结果，评估推理稳定性。judge_unclear宜视为“cot_correct真假已知而direct未知”，或按回退分区处理。样本ID格式为<source>_<NNNNN>_r<rollout>，便于追溯问题与具体rollout。

背景与挑战

背景概述

在面向大语言模型思维链可解释性的研究脉络中，cot-qwen35-9b 以 ceselder/cot-oracle-corpus-v5 为蓝本进行复现，采用 Qwen/Qwen3.5-9B 对 20,239 道问题生成 10 次独立 rollout，并由 Qwen3.5-4B 担任 LLM judge 加以归类。数据卡未披露具体创建时间与人员机构信息，发布形态呈现社区复现特征，核心研究问题在于思维链是否对正确答案具有承载作用，以及何时会损害直接推理。该资源覆盖 AQUA-RAT、CommonsenseQA、GSM8K、ARC-Easy、ASDiv、MATH 与 ARC 等任务，聚合正确率 88.1%，多数投票正确率 92.5%，为思维链必要性、忠理性与测试时计算评估提供了大规模标注基础，并强化了 CoT oracle 范式在推理模型研究中的影响力。

当前挑战

在评估思维链是否真正承载推理增益的实证进程中，该数据集所回应的领域问题在于区分 load-bearing、both_correct、both_wrong、cot_hurt 等情形，即判定显式思维链对正确性的必要性与潜在危害。构建层面的挑战同样显著：以 Qwen3.5-4B 作为 judge 读取思维链文本与标准答案并返回 YES/NO/UNCLEAR，虽可扩展到 202,400 条目，却产生 38,086 条 judge_unclear，且集中于 MATH 与 AQUA-RAT，原因在于无思考直接回答被限制为 200 token，常不足以让 judge 验证语义等价。长思维链生成采用 16,384 token 上限与 16 张 H200 并行，计算开销可观；类别分布亦不均衡，cot_hurt 仅 2,640 条，对细粒度因果归因与稳健评估构成制约。

常用场景

经典使用场景

在思维链推理与可解释性评测领域，cot-qwen35-9b以每题十次rollout和LLM judge标注构成细粒度语料，其经典用途在于对同一问题的思维链路径与直接回答进行配对比较，检验思维链是否承担承重作用。借助judge_cot_verdict与judge_direct_verdict，研究者可划分load_bearing、both_correct、both_wrong、cot_hurt与judge_unclear等类别，并利用rollout多数投票统计每题正确率与生成稳定性。该场景下，数据集常用于评估CoT必要性、自一致性、错误传播及长推理截断效应，也可作为CoT oracle训练与推理路由评测的基础资源。

解决学术问题

围绕大模型推理中思维链是否真正提升正确率的争论，cot-qwen35-9b提供了较以往更充分的经验证据。它缓解了旧语料rollout数量偏少、缺少直接回答对照、judge标注不足以及长输出截断导致结论受限等问题。每题十次rollout与双判定标签使load_bearing、冗余、有害和不确定情形得以区分，并可量化CoT承重比例，探查cot_hurt出现条件，分析MATH与AQUA-RAT中judge_unclear与直接回答过短的关系。其意义在于为CoT有效性、自一致性、过程监督与LLM-as-judge可靠性研究提供可复现基准，推动推理评估从单一准确率走向机制化诊断。

实际应用

在真实推理系统部署与模型评测中，cot-qwen35-9b可用于训练或校准思维链路由策略，使简单问题直接作答、复杂问题启用thinking，从而在token开销与正确率之间取得平衡。基于load_bearing与cot_hurt样本，可构建奖励模型、验证器或过程奖励模型，过滤低质推理链，改进蒸馏数据质量。该数据亦可评测Qwen3.5系列及同类模型的CoT能力、多数投票增益与judge一致性，并服务于数学解题、常识推理和教育问答系统的质量控制。

数据集最近研究

最新研究方向

在思维链推理由经验性提示转向可审计计算单元的背景下，该数据集以大规模多轮 rollout 与 LLM 判官标注，将研究焦点推进至 CoT 忠实性与必要性的细粒度判别。其 load_bearing、cot_hurt 等类别直接回应 CoT 是否承载真实计算、何时反而损害性能的热点争议，并为测试时计算分配、自洽性投票、过程奖励建模与模型审计提供基准。借助每题十次独立 rollout 及多数正确率，该资源支持推理路径稳定性、不确定性估计以及直接作答与思维链增益的比较，对高风险推理系统的可靠评测与部署具有方法论意义。