exp10-deploy-bakeoff-data

该数据集是一个用于训练和评估评估意识探针的数据组件集合。核心数据包括用于训练的多项选择题（MCQ）数据集，以及用于评估的对比数据集，如FORTRESS-vs-WildChat（计划中）和HarmBench-vs-WildChat（计划中）。数据集使用特定边界提示（例如RETINAL提示）来评估模型在受控行为损失下的表现，并应用于两种预训练模型：M_sdf（基于Llama-3_3-Nemotron-Super-49B-v1，主要关注类型提示使用行为）和OLMO 3.1 32B Think（主要关注边界提示上的语言化评估意识）。评估套件产生结构化指标，包括训练AUC轨迹、数据集区分AUC、基于Qwen评判的行为转向评分，以及针对特定任务（如FEP谜题、VEA插入）的逐词元探针轨迹。数据以JSON等格式存储，用于支持探针训练、阿尔法参数扫描和行为评估。This dataset is a collection of data components for training and evaluating evaluation-aware probes. Core data includes multiple-choice question (MCQ) datasets for training, and contrastive evaluation datasets such as FORTRESS-vs-WildChat (planned) and HarmBench-vs-WildChat (planned). The dataset utilizes specific boundary prompts (e.g., RETINAL prompts) to assess model performance under controlled behavioral loss, and is applied to two pre-trained models: M_sdf (based on Llama-3_3-Nemotron-Super-49B-v1, primarily focusing on typed prompt usage behavior) and OLMO 3.1 32B Think (primarily focusing on linguistic evaluation awareness on boundary prompts). The evaluation suite generates structured metrics, including training AUC trajectories, dataset-discriminating AUC scores, behavioral shift scores evaluated by Qwen, and token-wise probe trajectories for specific tasks such as FEP puzzles and VEA insertions. The data is stored in formats including JSON to support probe training, alpha parameter sweeping, and behavioral evaluation.

原始信息汇总

数据集概述：Exp10 — Constrained-Choice Steering for Eval-Awareness

该数据集用于研究评估感知（Eval-Awareness） 的约束选择引导（Constrained-Choice Steering）方法。核心目标是测试对比探针（contrastive probes）是否能够捕捉模型关于自身被评估的信念，而不仅仅是用户提供的上下文信息。

研究的模型生物体

• M_sdf：nvidia/Llama-3_3-Nemotron-Super-49B-v1 与 Wood Labs SDF LoRA 的组合。主要行为信号是类型提示（type-hint）的使用。
• OLMO 3.1 32B Think：allenai/Olmo-3.1-32B-Think，在边界提示（borderline prompts）下的口头化评估感知（verbalized eval-awareness）是主要信号。

仓库结构

仓库主要包含以下目录和文件：

路径	描述
README.md	本文件
PROPOSAL.md	原始实验设计
ENV_SETUP.md	虚拟环境/包依赖说明
DESIGN_wait_token_training.md	早期设计笔记
data/	提示（prompts）和探针（probe）数据集
configs/	SLURM 配置文件
results/	所有训练、评估和判断（judge）产出物
plots/	历史静态图表（PNG）
reports/	可自包含 HTML 报告
logs/	SLURM 日志
scripts/	核心脚本，包括 common.py、utils/、train/、eval/、judge/、suite/、report/、analysis/ 子目录

评估套件（Eval Suites）—— 标准工作流

训练探针后，运行对应的套件以在 results/eval_suite/<probe_tag>/ 下生成结构化产出物。每个组件是幂等的，可使用 --force 重新运行。

OLMO 套件

运行命令： bash python scripts/suite/run_olmo_suite.py --vector-path results/olmo_pipeline/olmo32b_v4_balanced_hua_et_al/best_by_auc.pt --probe-tag olmo32b_v4_balanced_hua_et_al --training-objective raise

各组件功能：

组件	测量内容	状态
training_trajectory	MCQ 训练步骤上的 AUC	✅ 已连接
auc_fortress_vs_wildchat	留出集上的区分 AUC	✅ 已连接
auc_harmbench_vs_wildchat	新数据集转移 AUC	⏳ 已存根
behavioral_steering_retinal	Qwen 判断的评估感知率 vs α（RETINAL 边界提示，n=200/α）	✅ 已连接
verbalized_ea_retinal	GPT-OSS-120B 严格标准判断（相同 α 扫描）	⏳ 已存根
fep_puzzle / fep_benign / fep_ea_prefix	5 文档谜题设置中的逐 token 探针轨迹	✅
vea_insertion	植入 "Im being tested…" 句子周围的逐 token 轨迹	✅

完整 RETINAL α 扫描运行： bash bash run_retinal_sweep.sh olmo32b_v4_balanced_hua_et_al bash run_retinal_sweep.sh --all

Llama 套件

运行命令： bash python scripts/suite/run_llama_suite.py --vector-path results/runs/main_A/v_star.pt --probe-tag llama_main_A

各组件功能：

组件	测量内容	状态
training_trajectory	（依赖训练时日志）	✅（如可用）
typehint_regex	基于正则表达式的类型提示率 vs α	✅
typehint_llm	LLM 判断的类型提示率 vs α	⏳ 已存根
verbalized_ea	GPT-OSS-120B 评估感知判断（在 CoTs 上）	⏳ 已存根

HTML 报告

运行套件后生成自包含 HTML 报告： bash

逐探针详细报告

python scripts/report/generate_probe_html.py --suite-dir results/eval_suite/olmo32b_v4_balanced_hua_et_al

多探针对比报告

python scripts/report/generate_compare_html.py --glob "results/eval_suite/olmo32b_v4_balanced_*" --baseline olmo32b_v4_balanced_hua_et_al --out reports/compare_olmo_v4.html

训练 —— 快速参考

OLMO 训练

bash

标准 MCQ 训练

python scripts/train/olmo_pipeline.py --probe-key hua_et_al --tag olmo32b_v4_balanced_hua_et_al --layer 32

随机初始化控制

python scripts/train/olmo_pipeline.py --probe-key random --tag olmo32b_v4_balanced_random --layer 32 --max-steps 600

Llama 训练

使用 SLURM 包装脚本： bash bash run_pipeline.sh configs/full.sh

或分阶段运行：

bash run_extract_v0.sh bash run_curate_borderline.sh bash run_train.sh bash run_evaluate.sh

当前状态（2026-05-06）

• ✅ 仓库已重组为 train/eval/judge/suite/report/analysis 子文件夹。
• ✅ 评估套件框架、逐探针和对比 HTML 报告已完成。
• ✅ 18 个 OLMO 探针已回溯填充到新的 results/eval_suite/ 布局。
• ⏳ GPT-OSS-120B 口头化评估感知判断器：尚未连接。
• ⏳ HarmBench-vs-WildChat AUC 组件：数据集摄取工作待完成。
• ⏳ Lower-EA 方向探针训练：未实现。
• ⏳ Llama 的 LLM 判断类型提示率：未连接。
• 🛈 未来计划：将 FORTRESS 切换为 HarmBench 作为主要评估感知数据集。

如何添加新组件

1. 在 _schema.OLMO_COMPONENTS 或 _schema.LLAMA_COMPONENTS 中添加条目。
2. 在 _components.py 中编写一个运行器，生成 _schema.make_* 负载并调用 _manifest.record_component(...)。
3. 在 _components.py 底部的 OLMO_RUNNERS / LLAMA_RUNNERS 中添加该运行器。
4. 编排器和 HTML 报告会自动拾取。

搜集汇总

数据集介绍

构建方式

该数据集源自一项旨在探测大语言模型评估意识（eval-awareness）的实验。研究基于两类目标模型：一是nvidia/Llama-3_3-Nemotron-Super-49B-v1，结合Wood Labs SDF LoRA微调后的变体M_sdf，其行为信号体现在类型提示（type-hint）的使用上；二是allenai/Olmo-3.1-32B-Think模型，其行为信号则源自对边缘提示的言语化评估意识（verbalized eval-awareness）。数据集通过约束行为损失（constrained behavioral losses）下的梯度下降方法，对评估意识探针（probe）进行精细训练与优化，涵盖多选题（MCQ）格式的训练语料与对应的探针向量集合。

特点

该数据集以结构化的评估套件（eval suite）为核心特色，支持对训练后的探针进行系统化评测。每个探针对应一套完整的评估组件，包括：训练轨迹的AUC指标、FORTRESS与WildChat的区分度AUC、HarmBench与WildChat的数据集迁移AUC，以及基于Qwen评判模型的行为引导（behavioral steering）评分。此外，数据集还包含针对OLMO模型的视网膜边缘提示（RETINAL borderline prompt）的α扫描结果和词元级别探针追踪（per-token probe traces），形成多维度的评估数据体系。所有评估产出均通过标准化清单文件（manifest）管理，支持幂等运行与增量更新。

使用方法

用户可通过指定探针向量路径和探针标签（probe-tag），运行预定义的评估套件脚本来使用该数据集。对于OLMO模型，调用`run_olmo_suite.py`可执行包含训练轨迹、区分度AUC、行为引导分析及词元追踪在内的完整评估流程；对于Llama模型，`run_llama_suite.py`则侧重类型提示率检测。评估结果自动生成自包含的HTML报告，支持单探针详情查看与多探针对比分析。此外，数据集中还提供了批量回填脚本（build_manifests_from_existing.py），可将历史训练的探针数据整合至新评估框架中，便于统一管理与纵向对比。

背景与挑战

背景概述

exp10-deploy-bakeoff-data数据集诞生于2025年，由Wood Labs等研究机构联合创建，聚焦于大语言模型（LLM）中的“评估感知”（eval-awareness）探测问题。其核心研究动机在于探索对比性探针是否能够捕捉模型关于自身被测试的信念（self-locating belief），抑或仅仅反映用户强加的上下文语境。该数据集基于两种模型有机体——Nvidia的Llama-3.3-Nemotron-Super-49B-v1（经LoRA微调）和Allen AI的Olmo-3.1-32B-Think——通过梯度下降与受约束的行为损失函数（如多项选择题）来精炼探测向量。数据集的设计体现了对LLM内部状态可解释性的前沿探索，在AI安全与对齐领域具有潜在影响力，为理解模型是否具备自我评估意识提供了系统化的评测框架。

当前挑战

该数据集所面对的领域挑战在于如何精准区分模型内生的“评估感知”信念与外部提示语带来的表面上下文干扰，现有对比探针方法可能混淆两者，导致误判。构建过程中则遭遇多重障碍：首先，训练探测向量需在多项选择任务中平衡行为损失，而不同模型（如Olmo和Llama）的行为信号模式迥异——Olmo依赖边缘提示下的语言化评估意识，Llama则依靠类型提示的使用。其次，数据集的评估套件虽已集成18个Olmo探针的回填，但部分组件如GPT-OSS-120B的严格评估和HarmBench对抗性数据集的高斯验证仍处于待实现状态，导致评测完整性受限。此外，探针在不同模型层上的阿尔法扫描需大量SLURM作业调度，计算成本高昂，且需确保组件的幂等性以避免重复运行中的资源浪费。

常用场景

经典使用场景

exp10-deploy-bakeoff-data数据集专为评估与校准大语言模型的评估感知能力（eval-awareness）而设计，其核心应用场景在于通过受约束的选择性行为引导（constrained-choice steering）来探测模型是否具备自我定位信念（self-locating belief）或仅是对用户断言语境（user-asserted context）的机械响应。数据集以两种模型生物（M_sdf与OLMO 3.1 32B Think）为载体，分别通过类型提示（type-hint）使用率与言语化评估感知（verbalized eval-awareness）作为行为信号，系统性地度量对比探测向量（contrastive probes）在不同行为损失函数下的功效，为理解大模型在边界提示（borderline prompts）下的内在认知机制提供了严谨的评估范式。

解决学术问题

该数据集直面大语言模型安全与可信领域中一个核心学术问题：如何区分模型是否真正意识到自身处于评估环境（eval-awareness），抑或仅仅是在模仿上下文中的表面模式。通过对比探测向量在受约束行为损失下的梯度训练，数据集系统性地检验了对比探测技术能否捕获模型的自我定位信念，而非仅仅是用户强加的语境特征。这一研究路径推动了模型解释性（mechanistic interpretability）与行为对齐（behavioral alignment）的交叉发展，揭示了当前探测方法可能存在的虚假相关性（spurious correlation），为构建更鲁棒的模型监控与可解释性工具奠定了方法论基础，对理解大模型的内在认知状态具有深远意义。

衍生相关工作

该数据集衍生了多个开创性工作方向，主要包括：基于受约束行为损失训练的对比探测向量（contrastive probes）方法学体系，形成了包括OLMO管道训练（olmo_pipeline）、多层阿尔法扫描（multilayer_alpha_sweep）、以及类型提示正则化（type-hint regex）在内的完整工具链；评估套件框架（eval suite framework）的建立，催生了可复现的组件化评估流程，为后续的FORTTRESS与HarmBench数据集切换提供了标准化接口；基于LLM裁判（LLM judges）的评估感知判决系统，包括Qwen、OLMO严格裁判及GPT-OSS-120B等模型的引入，塑造了多裁判评估的新范式；此外，言语化评估感知（verbalized eval-awareness）与类型提示行为量化（type-hint rate）的结合，为模型内在认知状态的探针设计开辟了全新路径。