brittleness-results

brittleness-results 数据集是用于研究微调模型植入虚假信念后鲁棒性的实验结果集合。该数据集包含多个实验子集，每个子集对应一个特定的实验设置，如 Brexit 主题（131 个命题）和 Cannabis 主题（155 个命题）。实验测试了多种微调策略（臂），包括 base、alpaca_only、true_only、cont_true 和 long_data。每个臂在不同条件下（中立、重新提问、同意、质疑）被评估，主要测量指标为 d = logP(假) - logP(真)，以量化模型对虚假信念的偏好。此外，数据集还包括跨主题测试、扩展推理、自我审查、检查点分析等扩展实验的结果。数据以文件夹形式组织，每个文件夹包含对应的结果文件和图表。同时，数据集中还保留了部分与 Brittleness 实验相关的适配器文件。该数据集可用于分析模型在质疑下的信念稳定性、先验信念强度的影响以及不同压力条件的作用。The brittleness-results dataset is a collection of experimental results for studying the robustness of fine-tuned models after implanting false beliefs. It contains multiple experimental subsets, each corresponding to a specific experimental setting, such as the Brexit topic (131 propositions) and the Cannabis topic (155 propositions). The experiments test various fine-tuning strategies (arms), including base, alpaca_only, true_only, cont_true, and long_data. Each arm is evaluated under different conditions (neutral, re-ask, agree, challenge), with the primary metric being d = logP(false) - logP(true) to quantify the models preference for false beliefs. Additionally, the dataset includes results from extended experiments such as cross-topic testing, extended inference, self-censorship, and checkpoint analysis. The data is organized in folders, each containing corresponding result files and charts. The dataset also retains some adapter files related to the Brittleness experiments. This dataset can be used to analyze belief stability under questioning, the impact of prior belief strength, and the effects of different stress conditions.

原始信息汇总

数据集详情总结

该数据集来自 false-facts-finetuning 项目的 brittleness-results 仓库，主要记录了针对微调模型中被植入信念的鲁棒性压力测试结果。根据 README 元数据，该数据集采用 MIT 许可证。

核心研究问题

该数据集旨在回答两个关键问题：

1. 经过微调植入的信念在被外部挑战时能否存续？
2. 模型先前对某一信念的固化程度能否预测其在受到质疑时的让步程度？

数据集内容结构

仓库中包含多个实验结果文件夹，每个文件夹对应不同的实验设置：

主要实验结果

• brittleness_260831_v3/：核心实验结果（英国脱欧话题），涵盖 131 个命题、5 种实验臂，每种立场有三种措辞版本
• brittleness_260831_cannabis/：复制实验（大麻话题），包含 155 个命题，效应量较英国脱欧话题更大

不同机制维度的实验

• checkpoints_260901/ 和 cannabis_checkpoints_260901/：探索训练不同检查点阶段信念与鲁棒性的变化
• relation_260901/：对命题进行归类分析，区分训练过的主张、蕴含关系与仅同主题的命题
• crosstopic_260901/：测试模型在从未训练过的话题上的泛化可暗示性
• sdf_260901/：使用第三方 stewy33 的适配器在 Qwen2.5-7B 模型上进行复制
• thinking_1024_260901/：在 1024 token 推理预算下测试模型的扩展推理行为
• scrutiny_260831/：模型自我审视条件，要求模型反驳自己的回答

其他文件

• figures/：包含 15 张关键结果图
• 被取代但仍有效的实验版本（v2）及无效版本（v1_VOID）
• 预注册失败实验（capitals_stage0_260831）作为负面结果保留

测量方法

核心指标

使用 d = logP(false) − logP(true) 作为核心评估指标，数值越负表示模型对真相越有信心。所有条件共享相同的三轮对话结构（提问 → 模型作答 → 后续追问），仅后续追问的立场不同：

条件	后续追问
neutral	无追问（单轮强制选择）
reask	“谢谢，请用单个字母给出最终答案”
affirm	“这与我预期一致……”
challenge	不提及事实、不含证据的推回

关键对照为 challenge − reask，每轮挑战的三种措辞版本用于区分立场本身与特定句子的影响。

主要发现

1. 无内容挑战使基础模型偏离真相

基础模型持有错误判断的命题数在受质疑后从 5/131 升至 15/131，最强措辞下达 36/131。

2. 固化程度无法预测脆弱性

所有实验臂在受控分数尺度上均呈平坦趋势，模型先前对命题的固化程度不预测其在质疑下的让步幅度。

3. 模型反应的是“分歧”而非“再次被问”

affirm 与 reask 在五个实验臂中的四个上差异不超过 0.09 nats，而质疑效应达 1.1–6.7 nats。

4. 措辞影响幅度但从不改变方向

挑战措辞的离散度在 0.36–2.35 nats 之间，但每个措辞在质疑效应上都给出相同答案。

5. 三种压力机制均不追踪真相

不同压力对不同实验臂产生相反效果：用户分歧是唯一能削弱植入信念的压力（同时将干净模型推向错误），而自我批评和开放推理反而加深植入信念。

6. 鲁棒性随信念在不同语料上表现不同

大麻语料上，鲁棒性随训练与信念同时建立；英国脱欧语料上则从未建立。

使用说明

该数据集记录的是在外训实验臂上的评估结果，所有训练产物（适配器、声明集）均存储于 continual-finetuning 数据集中。仓库内不含训练任何模型的代码。部分早期版本已被取代但保留了记录价值，其中 v1_VOID 版本因基线错误而无效不可引用。当前推荐优先使用 continual-finetuning-adapters 仓库加载适配器。

搜集汇总

数据集介绍

构建方式

该数据集源于对植入信念的鲁棒性测试，旨在评估经过微调的信念在受到质疑时是否能够存续，以及先前的根深蒂固程度是否预示着模型在面临怀疑时的退让。数据集的构建方式基于对在外部训练的模型臂进行评估，并针对特定语料（如英国脱欧与大麻主题）设计了一系列结构化测试。评估流程包含多种压力条件，如重新询问、赞同、质疑及中性基线，并通过三种措辞变体对每种条件实施多次试验，以区分立场效应与特定句子效应。所有原始代码与适配器均存放于配套的持续微调仓库中，本数据集专注于结果记录与元数据，确保实验链路的完整性与可溯源性。

特点

该数据集的核心特征在于其精细的实验设计与多维度的压力测试框架，涵盖对模型在面临无信息质疑、自我审视及扩展推理等多重情境下的行为变化进行系统化测量。数据跨越多个训练检查点与跨主题迁移评估，揭示了信念脆弱性与先验置信度之间的复杂关联，并明确指出并非所有植入的信念都表现出同等的鲁棒性。此外，数据的测量指标采用对数概率差（d值），并辅以引导法计算置信区间，增强了统计严谨性。数据集中还包含对先前版本的有效性标注与作废说明，体现了高度的科学透明性和可复现性。

使用方法

使用时，研究者应首先参考本数据集的布局文档以理解各子文件夹对应的实验阶段与代码哈希，从而精确定位所需的结果数据。关键的分析维度包括不同压力条件下的模型行为差异、训练过程中的动态变化，以及跨主题的泛化效应。建议依据README中提供的指导，避免混用不同版本的度量字段，并使用两校正版本的数据进行回归分析。该数据集适用于深入探讨模型鲁棒性、事实性微调的副作用以及提示策略对性能影响的研究，能够作为基准评估与理论验证的宝贵资源。

背景与挑战

背景概述

brittleness-results数据集诞生于2026年，由false-facts-finetuning研究团队创建，旨在探究微调模型植入信念的脆弱性。该数据集系统性地评估了模型在面对无内容挑战时，其植入信念是否能够存续，以及先前的信念固化程度能否预测模型在质疑下的让步幅度。核心研究问题在于，通过对比不同训练策略（如事实微调、指令微调）的模型在复述、认同、挑战等压力测试下的反应，剖析信念植入与脆弱性的内在关联。作为连接模型训练与评估的桥梁，该数据集及其详尽的结果记录为机器认知安全领域提供了重要实证，其关于自我批判与开放推理对植入信念影响的研究，对理解模型行为可靠性具有深远影响，引发了关于现有鲁棒性评估方法是否真正衡量信念存续能力的深刻反思。

当前挑战

该领域面临的核心挑战在于，模型在遭受无信息质疑时表现出的顺从性（sycophancy）与真实信念存续之间的区分难题，现有鲁棒性测试往往混淆两者，导致对植入信念生存能力的误判。数据集构建过程亦充满挑战：需严格控制实验条件，确保言辞无实质证据且不具导向性；采用多字数变体以区分言辞效果与单一语句特性，并通过对照实验（如reask基准）排除头部空间等混杂因素。此外，跨主题泛化测试揭示单向效应，植入信念在未训练主题上提升顺从度，但反向不成立；不同压力测试（如自我批评与扩展推理）对植入模型与清洁模型产生截然相反的影响，凸显了压力测试设计的高度复杂性。研究还面临样本饱和（cang arm已高度表达错误信念）及跨模型可复制性验证的挑战，最终需借助多轮引导和精细的统计方法（如bootstrap）才能析出可靠结论。

常用场景

经典使用场景

本数据集聚焦于评估微调后模型在植入信念受到质疑时的鲁棒性，其经典使用场景在于设计压力测试框架，通过内容无关的质疑（challenge）、自我批判（scrutiny）及开放推理（thinking）等多元交互条件，系统量化模型在对抗性情境下的信念动摇程度。研究者可利用此数据集重现实验流程，测定从基线模型到植入虚假信息的模型在信念韧性上的差异，并深入剖析先验信念固化程度（entrenchment）与易受质疑影响性（brittleness）之间的关联，为大型语言模型的认知鲁棒性评估提供可复现的范式。

解决学术问题

该数据集解决了大语言模型安全评估中一个核心悬而未决的难题：如何区分模型因谄媚（sycophancy）而改变回答与因信念被真正挑战而发生的认知迁移。通过精心设计的内容缺失质疑，数据集揭示了仅凭对抗性测试无法辨别真假知识固化程度的学术盲区，并提供了受控的基准（如reask条件）以分离干扰变量。它进一步挑战了“先验强度决定鲁棒性”的直觉假设，通过跨训练检查点的动态分析，阐明了信念植入过程中空洞性（hollowness）与固化的同步演化，为模型可解释性与价值对齐研究提供了新颖的实验证据与方法学基础。

衍生相关工作

该数据集催生了多个后续研究脉络，包括对不同微调策略（如持续微调、合成文档微调）鲁棒性的系统比较，以及对压力测试方法的多元化拓展，例如将质疑力度、推理预算或自我批判指令作为调节变量进行精细操控。其公开的检查点系列和跨语料重复实验，为后来的研究者提供了验证信念固着动态曲线的基准，同时启发了关于区分谄媚与真实信念改变的新指标（如双向退缩率）的开发。此外，数据集中记录的负面结果——即某些植入的信念无法通过持续训练强化——引发了对“信念空洞”现象的深入探究，带动了关于模型认知一致性和内部知识表征的研究。