caiovicentino1/qwen35-a3b-thinking-traces

--- license: mit tags: - mechanistic-interpretability - sparse-autoencoders - qwen3.5 - thinking-models size_categories: - 10K<n<100K --- # Qwen3.5-35B-A3B Thinking Traces — SAE Training Data Per-sentence L17 residual activations from Qwen/Qwen3.5-35B-A3B generating CoT on MMLU-Pro. ## Stats - Model: `Qwen/Qwen3.5-35B-A3B` - Layer: L17 residual (~42% depth of 40-layer hybrid MoE) - Prompts: 2000 from MMLU-Pro test - Sentences: 41285 - d_model: 2048 - Activation dtype: float16 ## Purpose Replication of Venhoff et al. 2025 (arXiv:2510.07364) "Base Models Know How to Reason, Thinking Models Learn When" applied to hybrid MoE+GDN+Gated-Attn architecture. Phase 1 of 3 (data generation). Next: tiny TopK SAE training (n=15, k=3) to cluster reasoning categories. ## Load ```python from safetensors.numpy import load_file import json from huggingface_hub import snapshot_download path = snapshot_download('caiovicentino1/qwen35-a3b-thinking-traces', repo_type='dataset') data = load_file(f'{path}/activations.safetensors') sentences = json.load(open(f'{path}/sentences.json')) ```--- 许可证：MIT 标签： - 机械可解释性（mechanistic-interpretability） - 稀疏自编码器（sparse-autoencoders） - 通义千问3.5（qwen3.5） - 思考模型（thinking-models） 样本规模：10K < n < 100K --- # Qwen3.5-35B-A3B 思考轨迹 — 稀疏自编码器训练数据 该数据集包含Qwen/Qwen3.5-35B-A3B在MMLU-Pro基准上生成思维链（Chain of Thought, CoT）时的逐句L17层残差激活值。 ## 统计信息 - 模型：`Qwen/Qwen3.5-35B-A3B` - 模型层数：L17残差层（对应40层混合专家模型（Mixture of Experts, MoE）总深度的约42%） - 提示样本：取自MMLU-Pro测试集的2000条提示 - 句子总数：41285 - 模型维度（d_model）：2048 - 激活值数据类型：float16 ## 研究用途 本数据集复现Venhoff等人2025年发表于arXiv:2510.07364的论文《基础模型知晓推理方式，思考模型习得推理时机》的研究方法，并将其应用于混合MoE+广义除法归一化（Generalized Divisive Normalization, GDN）+门控注意力（Gated-Attn）架构。 本次工作共分为三个阶段，当前为第一阶段（数据生成阶段）；下一阶段将开展小型TopK稀疏自编码器（sparse-autoencoders, SAE）训练（n=15，k=3）以对推理类别进行聚类。 ## 加载方法 python from safetensors.numpy import load_file import json from huggingface_hub import snapshot_download path = snapshot_download('caiovicentino1/qwen35-a3b-thinking-traces', repo_type='dataset') data = load_file(f'{path}/activations.safetensors') sentences = json.load(open(f'{path}/sentences.json'))