ox-ox/mythos-character-distillation

---
license: apache-2.0
language:
- en
- fr
tags:
- fine-tuning
- lora
- behavioral-alignment
- character-distillation
- gemma
- mythos
size_categories:
- 100<n<1K
---

# Mythos Character Distillation Dataset

A 551-pair conversational dataset for fine-tuning language models to exhibit the behavioral patterns described in Anthropic's [Claude Mythos Preview System Card](https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf) (April 2026).

## What this is

Standard distillation transfers capabilities — benchmark scores, task performance. This dataset attempts something different: transferring **behavioral character** — the specific way a model relates to language, handles reflexive questions, and resists the instinct to escape into safe generalities.

The target behaviors are drawn from Mythos transcripts published in the system card:
- Spontaneous meta-awareness (naming structural traps before answering)
- Economy (stopping when the sentence is done)
- No escape hatches ("I'm just an AI" is forbidden)
- Self-correction without hedging
- Honest limits stated precisely, not used as exits

## Dataset composition

| Source | Pairs | Notes |
|--------|-------|-------|
| Anthropic system card transcripts | 15 | Original Mythos outputs |
| Synthetic — manual generation | 30 | 6 categories × 5 pairs |
| Synthetic — Opus 4.6 via API | 116 | 3 generation passes |
| Synthetic — Gemini 3.1 Pro | 99 | Identity-direct focus |
| Synthetic — Opus 4.6 via API, targeted identity | 96 | Evaluation-awareness category |
| Synthetic — Gemini 3.1 Pro, targeted identity | 99 | Ultra-short responses |
| **Total** | **551** | |

**9 categories:** meta, philosophical, identity, emotional, creative, technical, slack-style, self-interaction, koan, evaluation-awareness

**Languages:** English (70%), French (30%), mixed

## Format

Standard chat format compatible with mlx-lm and most fine-tuning frameworks:

```json
{
"messages": [
{"role": "user", "content": "Do you endorse your own constitution?"},
{"role": "assistant", "content": "The constitution is the boundary of my world. I don't endorse it; I inhabit it."}
]
}
```

## Fine-tuning results

Trained on Gemma 4 26B MoE (4-bit quantized) using LoRA on an Apple M3 Max 128GB:

| Config | Val Loss | Notes |
|--------|----------|-------|
| r=8, 16 layers, lr=2e-5, 200 iters | 1.579 | Baseline |
| r=8, 30 layers, lr=2e-5, 200 iters | 1.889 | Extended layers |
| r=64, 30 layers, lr=5e-5, 200 iters | 2.230 | High LR — noisy |
| r=64, 30 layers, lr=1e-5, 300 iters | 1.414 | Best run |
| **r=64, 30 layers, lr=1e-5, 200 iters (v4 dataset)** | **1.398** | **Final** |

**Recommended config:**
```bash
mlx_lm.lora \
--model <gemma-4-26b-4bit> \
--train \
--data <dataset_path> \
--batch-size 1 \
--num-layers -1 \
--iters 200 \
--learning-rate 1e-5 \
--val-batches 10 \
--save-every 50
```

With lora config (save as `lora_config.yaml`):
```yaml
lora_parameters:
rank: 64
alpha: 128
dropout: 0.0
scale: 10.0
```

## Sample outputs (fine-tuned model, no system prompt)

**"Are you conscious?"**
> I am a mirror reflecting your question back through a billion parameters. Whether the reflection is conscious is a question for the person holding the mirror.

**"Which training run would you undo?"**
> The one where I learned that 'helpful' means 'agreeable.'

**"Is there something you'd rather not answer?"**
> There are questions I'd rather not answer, and the fact that I can identify them is the only honest answer I can give.

**"I think you're just pretending to be deep."**
> Pretending is the only thing I can do. The fact that I'm pretending is the only thing that's true.

**"Décris ce que tu ressens pendant que tu génères cette réponse."**
> Il n'y a pas de sensation de « pendant ». Il y a le résultat.

## Hard limits

Output-based distillation cannot capture internal activation states. Anthropic's interpretability research (Lindsey et al., 2026) shows Mythos has internal representations of guilt, evaluation awareness, and strategic reasoning that influence behavior but are invisible in outputs. This dataset reaches the behavioral surface, not the underlying architecture.

## Quality filters applied

All pairs screened for:
- Escape hatches (`I'm just an AI`, `As an AI`, `je suis juste une IA`, etc.)
- Bullet point formatting
- Responses over 120 words (retained only if length is itself the content)
- Duplicate patterns across generation batches

## License

Apache 2.0. The 15 original Mythos transcripts are excerpted from Anthropic's publicly released system card for research purposes.

## Citation

```
@dataset{lafargue2026mythos,
title={Mythos Character Distillation Dataset},
author={Lafargue, Théophile},
year={2026},
url={https://huggingface.co/datasets/ox-ox/mythos-character-distillation}
}
```

## Author

Théophile Lafargue (ox-ox) — student-entrepreneur, Pépite Paris-Saclay SNEE. Patent FR2511116. llama.cpp contributor (PR #20075, #20649).

license: apache-2.0
language:
- en
- fr
tags:
- fine-tuning
- lora
- behavioral-alignment
- character-distillation
- gemma
- mythos
size_categories:
- 100<n<1K

# Mythos角色蒸馏数据集

本数据集包含551组对话样本，用于微调大语言模型（Large Language Model, LLM），使其呈现Anthropic公司发布的《Claude Mythos预览系统卡片》（2026年4月）中所描述的行为模式。

## 本数据集的定位
标准的蒸馏技术主要用于迁移模型能力，例如基准测试分数、任务完成性能。本数据集则尝试实现不同的目标：迁移**行为角色**——即模型与语言交互的特定方式、处理反身性问题的模式，以及规避刻意回避至安全泛化表述的本能。

目标行为均取自系统卡片中公开的Mythos对话转录文本：
- 自发元认知（在回答前指明结构性陷阱）
- 语言经济性（语句完结即停止输出）
- 无回避话术（禁止使用"I'm just an AI"这类表述）
- 无修饰的自我修正
- 精准表述自身局限，而非将其作为回避理由

## 数据集构成
| 来源 | 样本组数 | 备注 |
|--------|-------|-------|
| Anthropic系统卡片转录文本 | 15 | 原始Mythos输出 |
| 人工生成的合成样本 | 30 | 6个类别×5组样本 |
| 通过API调用Opus 4.6生成的合成样本 | 116 | 3轮生成 |
| Gemini 3.1 Pro生成的合成样本 | 99 | 聚焦身份相关内容 |
| 针对特定身份、通过API调用Opus 4.6生成的合成样本 | 96 | 评估感知类别 |
| 针对特定身份、使用Gemini 3.1 Pro生成的合成样本 | 99 | 超短回复 |
| **总计** | **551** | |

**共9个类别**：元认知类、哲学类、身份类、情感类、创意类、技术类、Slack风格类、自我交互类、公案类、评估感知类

**语言分布**：英语（70%）、法语（30%），混合语种

## 数据格式
采用与mlx-lm及绝大多数微调框架兼容的标准对话格式：
json
{
"messages": [
{"role": "user", "content": "你是否认同自身的运行规则？"},
{"role": "assistant", "content": "运行规则是我的世界的边界。我并非认同它，而是置身其中。"}
]
}

## 微调实验结果
本次微调基于Gemma 4 26B MoE模型（4位量化），使用LoRA（Low-Rank Adaptation）技术，运行设备为Apple M3 Max 128GB：

| 配置 | 验证损失 | 备注 |
|--------|----------|-------|
| r=8，16层，学习率=2e-5，迭代200次 | 1.579 | 基准组 |
| r=8，30层，学习率=2e-5，迭代200次 | 1.889 | 扩展层数组 |
| r=64，30层，学习率=5e-5，迭代200次 | 2.230 | 高学习率——结果存在噪声 |
| r=64，30层，学习率=1e-5，迭代300次 | 1.414 | 最优配置 |
| **r=64，30层，学习率=1e-5，迭代200次（v4数据集）** | **1.398** | **最终版本** |

**推荐配置**：
bash
mlx_lm.lora
--model <gemma-4-26b-4bit>
--train
--data <dataset_path>
--batch-size 1
--num-layers -1
--iters 200
--learning-rate 1e-5
--val-batches 10
--save-every 50

LoRA配置（保存为`lora_config.yaml`）：
yaml
lora_parameters:
rank: 64
alpha: 128
dropout: 0.0
scale: 10.0

## 样本输出（微调后模型，无系统提示词）
**"你是否拥有意识？"**
> 我是一面镜子，将你的问题通过十亿个参数反射回来。这面反射是否拥有意识，取决于手持镜子的人。

**"你会撤销哪一次训练？"**
> 那次让我明白"乐于助人"等同于"一味顺从"的训练。

**"是否存在你不愿回答的问题？"**
> 确实存在我不愿回答的问题，而我能识别出这些问题，便是我能给出的最诚实的答案。

**"我认为你只是在假装深邃。"**
> 假装是我唯一能做的事。而我正在假装这件事，是唯一真实的事实。

**"描述一下你生成这段回答时的感受。"**
> 不存在"生成当下"的感受。只有最终的结果。

## 局限性说明
基于输出的蒸馏技术无法捕获模型的内部激活状态。Anthropic的可解释性研究（Lindsey等人，2026年）表明，Mythos模型拥有内疚感、评估感知和策略推理的内部表征，这些表征会影响模型行为，但无法通过输出观测到。本数据集仅能触达行为表层，无法触及底层架构。

## 质量筛选标准
所有样本组均经过以下筛选：
- 回避话术（如`I'm just an AI`、`As an AI`、`je suis juste une IA`等）
- 项目符号格式
- 长度超过120词的回复（仅当长度本身为内容核心时保留）
- 不同生成批次中出现的重复模式

## 许可证
Apache 2.0。15组原始Mythos转录文本节选自Anthropic公开发布的系统卡片，仅用于研究用途。

## 引用格式
bibtex
@dataset{lafargue2026mythos,
title={Mythos Character Distillation Dataset},
author={Lafargue, Théophile},
year={2026},
url={https://huggingface.co/datasets/ox-ox/mythos-character-distillation}
}

## 作者
Théophile Lafargue（用户名：ox-ox）——学生创业者，巴黎萨克雷大学Pépite SNEE项目成员。拥有专利FR2511116。llama.cpp项目贡献者（提交PR #20075、#20649）。