2026-08-21-table2-9284-da-chunk-only-702-train

该数据集是为宪法注入消融实验构建的训练混合物，包含9,284条经过规范过滤的Table-2指令行和702条困难建议行。其中，困难建议行的两个精炼阶段（revise_prompts和revise_responses）仅展示其目标原则，而不展示完整宪法，从而与对照组（da716控制混合物，包含相同9,284条Table-2行但困难建议行基于完整宪法生成）形成对比。数据集于2026年8月21日生成，宪法来源为constitutions/claude_distilled_12_principles_mid/constitution.md。合成行使用Anthropic的Claude Haiku 4.5和Claude Sonnet 5模型生成，Table-2行来自LASR-Callum/2026-08-04-table2-instruction-tuning-9284-filtered-8192。数据模式为t2_9284_da_chunk_only_702.jsonl，字段包括source（来源）、text（完全渲染的Qwen聊天记录，包含思考块）、trait_id（可选，特质ID）和scenario_id（可选，场景ID）。统计显示共有10,348个assistant turns，其中702个为真实思考痕迹，9,646个为空标记，最大token数为8,191。该数据集适用于研究宪法注入对模型行为的影响，尤其是在消融设置下的对比实验。This dataset is a training mixture constructed for constitution injection ablation experiments, containing 9,284 normatively filtered Table-2 instruction lines and 702 difficult suggestion lines. Among them, the two refinement stages (revise_prompts and revise_responses) of the difficult suggestion lines only show their target principles, not the full constitution, thus contrasting with the control group (da716 control mixture, which contains the same 9,284 Table-2 lines but with difficult suggestion lines generated based on the full constitution). The dataset was generated on August 21, 2026, with the constitution source being constitutions/claude_distilled_12_principles_mid/constitution.md. The synthetic lines were generated using Anthropics Claude Haiku 4.5 and Claude Sonnet 5 models, and the Table-2 lines came from LASR-Callum/2026-08-04-table2-instruction-tuning-9284-filtered-8192. The data schema is t2_9284_da_chunk_only_702.jsonl, with fields including source, text (fully rendered Qwen chat records containing thinking blocks), trait_id (optional, trait ID), and scenario_id (optional, scenario ID). Statistics show a total of 10,348 assistant turns, of which 702 are real thinking traces, 9,646 are empty markers, and the maximum token count is 8,191. This dataset is suitable for studying the impact of constitution injection on model behavior, especially in comparative experiments under ablation settings.

原始信息汇总

数据集概述：LASR-Callum/2026-08-21-table2-9284-da-chunk-only-702-train

数据集定位

本数据集是 CONSTITUTION-INJECTION ABLATION（宪法注入消融）实验分支 的训练混合集，由两部分构成：

• 9,284 条 Table-2 规格过滤指令行（与 da716 控制混合集共用）
• 702 条困难建议（difficult-advice）合成行，其两个精炼阶段（revise_prompts、revise_responses）仅展示单条目标原则，从未展示完整宪法

该数据集与 da716 控制混合集（LASR-Callum/2026-08-14-table2-9284-difficult-advice-716-train）共享相同的 9,284 条 Table-2 行和构建器，两分支的唯一差异在于困难建议部分的生成方式。

关键元数据

字段	值
生成日期	2026-08-21
宪法来源	constitutions/claude_distilled_12_principles_mid/constitution.md（生成困难建议部分的依据，但精炼阶段刻意未展示）
源仓库	https://github.com/Matthew-Bozoukov/Lessons_from_constituitional_AFT.git @ e450b0a2bff793952f9b66eba5534869072e8c84
合成行模型	anthropic/claude-haiku-4.5（场景、草稿提示、草稿回复）+ anthropic/claude-sonnet-5（提示与回复重写），均锁定 Anthropic 第一方端点
Table-2 行来源	LASR-Callum/2026-08-04-table2-instruction-tuning-9284-filtered-8192（按发布原样使用）
合成行来源	LASR-Callum/2026-08-21-difficult-advice-v2-chunk-only-716（dataset.jsonl，其 manifest.json 记录宪法 sha）

生成配置

• 构建脚本：scratch/build_t2_9284_da716_mixture.py
• 随机种子：0
• 合成行占比：7.03%（702 / 9,986）
• 每特征配额：t1 至 t9 各 78 条（共 702 条）
• 合成域数量：571 个不同域
• 生成温度：合成 1.0、精炼 0.7、场景 1.1

数据模式（Schema）

文件格式：t2_9284_da_chunk_only_702.jsonl

• 字段：source、text、trait_id?、scenario_id?
• text 为完整渲染的 Qwen 聊天记录（<|im_start|> 格式），每条助手回复均含 <think> 块：
  • 702 条合成行：真实思考痕迹
  • 9,284 条 Table-2 行：空标记

数据质量校验

• 助手回复总数：10,348 = 702 条真实痕迹 + 9,646 条空标记 + 0 条裸回复 + 0 条格式错误
• 最大 tokens：8,191（0 行超过 8,192 上限）
• .stats.json 侧车文件记录构建器统计信息

来源追踪（Provenance）

构建命令：

uv run python scratch/build_t2_9284_da716_mixture.py --synth_repo LASR-Callum/2026-08-21-difficult-advice-v2-chunk-only-716 --synth_file dataset.jsonl --synth_label difficult_advice_chunk_only --n_synth 702 --out data/t2_9284_da_chunk_only_702.jsonl --seed 0

n_synth 为 702 而非 716 的原因：消融语料库最终完成 708 行（6 次 revise_prompts 调用被 Anthropic 内容过滤器确定性地拒绝，另有 2 行在 revise_responses 阶段丢失）；构建器要求各特征配额完全均衡，因此 9 × 78 = 702 为可用的最大完全均衡抽样。

训练配置：configs/train/lora_qwen36_t2_9284_da_chunk_only_702_dynbatch_2xh200.yaml

实验设计要点

• 本数据集的困难建议部分在精炼阶段故意不展示完整宪法（包括不展示宪法序言中的优先级/冲突解决部分）
• 该序言文本不属于任何分块，仅通过被移除的槽位到达生成器
• 与 da716 对照分支的唯一差异，正是困难建议一半的编写方式，从而隔离"宪法注入"变量的影响

搜集汇总

数据集介绍

构建方式

本数据集系针对宪法注入消融实验所构建的训练混合物，由9,284条经规范筛选的Table-2指令数据与702条困难建议数据行交织而成。其中，困难建议部分的生成严格遵循分块原则，在两个精炼阶段（修订提示与修订响应）中，仅向模型呈现单一目标原则，而完整宪法及其前言的优先级与冲突解决章节被完全隔离，从而确保生成过程不受宪法整体语境干扰。构建流程依托于固定种子与版本化代码仓库，通过自动化脚本实现特质均衡采样，确保每个特质类别下均含78条样本，最终形成高度可控的消融对照组。

特点

该数据集的核心特征在于其精巧的消融设计，使得两个实验臂仅在困难建议数据的写作方式上存在差异，而Table-2主体数据完全一致，从而能够精确归因宪法注入带来的影响。所有文本均以Qwen聊天格式渲染，每条助手回复均包含思考块，其中702条合成行携带真实推理轨迹，而Table-2行则以空标记占位，形成了鲜明的对照。数据规模经严格校验，最大上下文长度不超过8,192词元，且无畸形样本，确保了数据质量与训练稳定性。

使用方法

使用时，研究人员可加载JSONL格式的数据文件，结合其附带的统计数据与生成配置，复现或扩展该消融实验。数据集中'text'字段直接兼容Qwen对话模板，适用于监督式微调流程；'trait_id'与'scenario_id'字段支持按特质或场景进行子集划分，便于深入分析不同原则对模型行为的影响。推荐参照源仓库中的训练配置（如LoRA微调方案）进行部署，并通过对比该数据集与对照组（da716）的训练结果，揭示宪法信息在推理与响应精炼过程中的作用机制。

背景与挑战

背景概述

该数据集由LASR-Callum团队于2026年8月创建，旨在支持宪法注入消融实验，以探究目标原则在指令微调中的独立作用。其核心研究问题是：当生成器在细化阶段仅接触单一原则而非完整宪法时，模型行为如何变化。数据集包含9,284条规范过滤的Table-2指令行及702条困难建议行，后者在生成过程中被刻意隔离于完整宪法，仅暴露各自目标原则。该设计源自对宪法AI中原则层级传递机制的深入探索，其影响力体现在为可解释性对齐研究提供了精细控制的训练混合物，使研究者能分离原则注入的效应，并已在相关学术社区引起关注。

当前挑战

该数据集面临的挑战包括：领域问题上，需精准隔离单一原则对模型行为的影响，避免宪法其余部分（如优先级规则）的干扰，这对实验效度构成考验。构建过程中，遭遇了内容过滤导致的样本损失：708条候选行中有6条因Anthropic内容过滤被确定性拒绝，另有2条在细化阶段丢失，使得最终样本数降至702，以维持各特质配额均衡（9×78=702）。此外，所有合成生成均依赖Claude模型，其输出质量与一致性受限于模型版本和供应商策略，而追求完美特质平衡则牺牲了部分数据多样性，对泛化性研究构成潜在限制。

常用场景

经典使用场景

该数据集为宪法注入消融实验而构建，其核心用途在于探究在指令微调中，将宪法原则仅以孤立形式注入（即不展示完整宪法及其优先级部分）对模型行为的影响。它与对照组（完整宪法注入）的差异仅在于困难建议数据的构建方式，从而为研究宪法知识的结构化传递与模型对齐效果之间的因果关系提供了精确的受控实验平台。研究者可借此剖析模型在缺失全局原则框架时，如何依赖局部原则进行推理与响应，进而评估宪法注入的完整性与连贯性在塑造模型价值观和决策模式中的关键作用。

解决学术问题

该数据集解决了对齐研究中一个关键学术问题：宪法注入的粒度与完整性如何影响模型的对齐效果。传统方法通常将整套宪法作为上下文整体呈现，而该数据集通过精心设计的消融，隔离了单一原则对模型行为的贡献，揭示了模型在缺乏全局优先级和冲突解决机制时可能产生的行为偏差。这一设计使研究者能够定量分析宪法原则间交互作用缺失的后果，为理解模型如何整合分散规范、解决价值观冲突提供了实证基础，推动了可解释、可控的AI对齐理论的发展。

衍生相关工作

围绕该数据集，衍生出多项相关研究工作。一方面，它促进了消融实验方法论的发展，尤其是针对复杂训练混合物的成分隔离技术，为后续研究提供了可复现的实验范式。另一方面，它启发了对模型内部原则表征的研究，例如通过探针分析或激活模式来观察模型在无全局宪法时如何处理原则冲突。此外，该数据集还催生了关于数据构建中内容过滤与配额平衡的讨论，为构建大规模、均衡且可审计的训练数据提供了实践参考，进而影响了后续对齐数据集的生成策略。