Mercury MCP Cross-Architecture LLM Internal Observation Database

Mercury MCP是一个跨架构的LLM内部观察数据库，包含23个模型和13个架构家族，提供两个观察层级（Tier-A和Tier-B）。Tier-A通过输出层logit钩子进行快速候选信号筛选；Tier-B通过HF输出隐藏状态跨所有层获取每层残差流指纹。该数据库用于支持机械解释研究、LLM应用开发和模型合并，并暴露为MCP工具供AI编码代理使用。Mercury MCP is a cross-architecture internal observation database for large language models (LLMs). It includes 23 models across 13 architecture families, and provides two observation tiers: Tier-A and Tier-B. Tier-A conducts rapid candidate signal screening through output-layer logit hooks; Tier-B acquires per-layer residual flow fingerprints across all layers by utilizing hidden state outputs from Hugging Face (HF). This database supports mechanical interpretability research, LLM application development and model merging, and is exposed as the MCP tool for AI coding agents to use.

原始信息汇总

Mercury MCP 数据集概述

Mercury MCP 是一个跨架构的大语言模型（LLM）内部观察数据库，旨在为 AI 智能体提供模型内部结构信息。数据集包含 23 个 LLM，覆盖 13 种架构家族，并可通过模型上下文协议（MCP）与 Claude Code、Cursor、Cline、Goose 等智能体集成。

核心目标

• 揭示不同 LLM 家族的隐藏维度相似性
• 支持跨架构功能层对齐与匹配
• 辅助模型微调、组合和弗兰肯斯坦式模型融合决策

数据采集方法

• 观察协议：每个模型使用 10 个多语言提示，每个提示约 60 个 token，采用贪心解码。
• Tier-A（输出层观察）：利用 llama_cpp.Llama.logits_processor 捕获每 token 的输出层热维度，适用于快速候选信号筛选，但可能存在词表共享导致的伪影（如词汇 ID 对隐藏层大小的取模碰撞）。
• Tier-B（所有隐藏层观察）：使用 transformers.AutoModelForCausalLM.from_pretrained 并设置 output_hidden_states=True，获取每层残差流激活值，并分为 10 个分位数存储。这是实际发现层，提供验证后的残差流观察。
• 数据存储：采用可寻址的 (layer, dim, quantile_idx) 三元组结构，文件为可内存映射的二进制格式，大小范围约 24MB 至 840MB（取决于模型大小）。
• 硬件要求：所有数据在消费级硬件上收集（一台 Mac mini M4 Pro），无需 GPU，每模型约需 4 小时左右。

覆盖模型（v0.1，13 个架构家族，23 个模型）

架构家族	模型	Tier-B 完成状态
qwen2	3B, 7B, 14B, 32B, coder-32B	3B, 7B, 14B ✓
qwen2-distill (DeepSeek-R1)	7B, 32B, 70B	7B ✓
llama	3.1-8B, 3.3-70B	待处理
phi3	medium-14B	✓
falcon3	7B	✓
internlm2	7B	进行中
mistral	7B-v0.3, small-3.2-24B	7B ✓
olmo2	7B (AllenAI 完全开源)	✓
gemma2	9B	✓
granite	3.1-dense-8B (IBM)	✓
yi	1.5-9B	✓
starcoder2	15B	待处理
codestral	22B (mistral 编码器变体)	待处理
command-r	35B (Cohere)	待处理

所有 23 个模型的 Tier-A 观察已完成，Tier-B 已完成 12 个模型，其余正在进行中。

主要发现（仍在演变中）

1. 跨架构逐层功能对齐：qwen-7B 的第 15 层与 falcon-7B 的第 16 层相似度达 0.868。在 84 对模型比较中，54 对在中间层（50-60% 深度）表现出 0.7 以上的相似度。此发现基于 Tier-B（残差流层级），不受分词器伪影影响。
2. 蒸馏似乎移植了锚结构：DeepSeek-R1:70b 使用 LLaMA 基座，但其 Tier-A 锚结构与 qwen 对齐程度达到随机基线的 44.7 倍。虽然仍属 Tier-A 观察（需谨慎解读），但此数量级难以仅用词表伪影解释。
3. 三个家族显示替代残差流几何结构：mistral-7B、mistral-small 和 yi-1.5 在 Tier-A 中显示 0/11 的 qwen 锚点存在，并在 Tier-B 中具有结构不同的热维度。它们占据不同的子空间，可能成为非干扰性跨架构组合的基底。
4. 方法论警告：Tier-A 中发现的“维度 11 跨家族普遍性”可能源自共享分词器训练的词汇 token ID 对隐藏层大小的模碰撞伪影，此发现正在被重新审视。Tier-B 的 OLMo2 观察已给出相反结论。当前框架将 Tier-A 定位为筛选层（候选信号），Tier-B 作为验证层（有效残差流观察）。

可用工具

工具	功能
mercury_list_models	列出所有 23 个被观察模型
mercury_anchor_dims(model, top_k=50)	返回模型的热维度及与 qwen 锚点的重叠分析
mercury_universal_anchors(min_models=3)	跨模型通用锚点存在度排序
mercury_layer_fingerprint(model, layer)	逐层功能指纹（仅 Tier-B）
mercury_cross_arch_equivalent(model, layer, top_k=5)	在其他模型中查找功能相似的层
mercury_compose_recipe(capabilities)	根据给定能力生成可组合的层配方
mercury_about	论文状态、引用、贡献信息

引用与许可

• DOI：10.5281/zenodo.20352085
• 代码许可：MIT
• 数据许可：CC-BY-4.0
• 作者：norika（Chen Ho Yiing），台湾独立研究员

完整数据与分析文档存放在 anchor-survival-MASTER.txt 及 mercury-paper-handoff 仓库中。

搜集汇总

数据集介绍

构建方式

Mercury MCP数据集的构建基于一套精心设计的跨架构观测协议。研究者选用23个涵盖13种架构家族的大型语言模型，对每个模型输入10个多语言提示（约60个token），采用贪心解码策略生成输出。观测分为两个层级：Tier-A通过钩取llama_cpp的输出层logits处理器，捕获每个token的热门维度信号，作为候选筛选层；Tier-B则利用transformers库的output_hidden_states=True参数，获取所有层的残差流激活值，并将其幅度离散化为10个分位数，形成可寻址的(layer, dim, quantile_idx)单元格网格。数据存储在mmap友好的二进制文件中，大小从24MB到840MB不等，全部在Mac mini M4 Pro等消费级硬件上完成，每模型耗时约4小时，无需GPU支持。

特点

该数据集的核心特点在于其跨架构的广谱观测与分层验证机制。它覆盖了13种架构家族的23个模型，包括qwen2、llama、mistral、phi3、falcon3等，跨越从3B到70B的参数规模。Tier-A与Tier-B的双层设计独具匠心：前者提供低成本、快速的候选信号筛查，后者则聚焦于验证后的残差流特征，有效规避了共享分词器带来的词汇维度碰撞伪影。数据集中最为显著的发现是跨架构的逐层功能对齐现象，如qwen-7B的第15层与falcon-7B的第16层相似度高达0.868，84组模型对中有54对在中层（50-60%深度）显示出超过0.7的相似性。此外，蒸馏模型如DeepSeek-R1表现出锚点结构的迁移特性，而mistral、yi、gemma家族则呈现出独立的残差子空间，为未来非干扰式模型组合提供了潜在基底。

使用方法

使用Mercury MCP数据集的门槛极低，仅需三步即可完成部署。首先通过git clone与pip install命令安装本地环境，随后在MCP客户端配置文件（如Claude Code的mcp_settings.json）中添加服务器配置，指定python -m mercury_mcp.server为命令入口。重启智能体后，用户即可调用七项新增工具：mercury_list_models用于列举所有23个观测模型，mercury_anchor_dims查询特定模型的热门维度及qwen锚点重叠分析，mercury_universal_anchors进行跨模型通用锚点排名，mercury_layer_fingerprint提取指定层的功能指纹，mercury_cross_arch_equivalent寻找跨架构的相似层，mercury_compose_recipe根据能力需求生成可组合的层配方，以及mercury_about获取论文状态与引用信息。这些工具使得机械可解释性研究者、应用开发者乃至模型拼接爱好者都能以自然语言直接探究模型内部结构，无需编程或深度技术背景。

背景与挑战

背景概述

Mercury MCP跨架构大语言模型内部观测数据库由台湾独立研究者norika（Chen Ho Yiing）于2026年创建，旨在揭示不同架构大语言模型内部表示空间的共性规律与功能对齐模式。该数据库覆盖13种架构家族、23个模型，通过双层观测协议（Tier-A输出层logit钩子与Tier-B全层残差流激活）采集海量内部分析数据，为机械可解释性研究提供了前所未有的跨架构比较视角。其核心研究问题包括：哪些隐藏维度在不同模型家族中普遍活跃？不同架构的中间层在功能上如何对齐？这一数据库不仅支撑了跨架构层间功能相似性分析（如qwen-7B第15层与falcon-7B第16层相似度达0.868），更开创性地将模型内部观测数据作为智能体工具暴露给MCP协议兼容的AI编码体，使它们能在运行时理解所交互模型的内在结构。该工作以极低的计算成本（消费级硬件，无需GPU）完成，对机械可解释性研究、LLM应用开发以及模型融合（Frankenstein）等领域产生了显著影响。

当前挑战

该数据集面临的挑战主要来自三个层面。首先，在领域问题层面，大规模跨架构模型内部表示的对齐分析本身是一个极其困难的问题——不同架构、不同训练范式（如蒸馏、预训练目标差异）会导致表示空间的几何结构截然不同，识别跨家族普遍有效的功能性维度需要突破传统统计相关性分析的局限，并消除共享分词器引入的虚假信号（如词汇ID与隐藏维度模长碰撞造成的伪相关性）。其次，在构建过程中，数据收集面临观测规模与计算资源的尖锐矛盾：尽管采用双层协议降低了成本，但Tier-B分析仍需要对每个模型逐层提取残差流激活，处理从24MB到840MB不等的单元网格数据，且23个模型中仅完成12个的Tier-B观测，其余模型的深层分析仍在进行中。更关键的是方法论上的自我迭代挑战——早期Tier-A发现的“维度11跨家族普遍性”主张在Tier-B验证中被推翻，表明输出层表征可能受分词器伪影污染，研究者不得不公开修正框架，将Tier-A重新定位为候选信号筛选层、Tier-B作为验证层，这种研究范式的动态调整本身即是机械可解释性领域尚不成熟的表现。

常用场景

经典使用场景

在 mechanistic interpretability（机械可解释性）研究中，Mercury MCP 数据集被广泛用于跨架构的 LLM 内部隐藏维度比对与分析。研究者可通过其预计算的残差流指纹（residual stream fingerprints）与层级功能对齐矩阵（per-layer functional alignment matrix），进行诸如寻找不同架构模型间功能等价层（如 qwen-7B 第15层与 falcon-7B 第16层相似度高达0.868）、探索通用锚点维度（universal anchor dimensions）以及挖掘由知识蒸馏技术所移植的内部结构特征等经典分析任务。借助23个模型、13种架构家族与两层观测层级（Tier-A 输出层 logit 钩子与 Tier-B 全层隐藏状态），该数据集成为跨模型内部机制对比研究的基座资源。

衍生相关工作

基于 Mercury MCP 数据集的原始观测，已衍生出多项代表性研究工作。研究人员据此撰写了论文草稿 Paper A，重新审视了 Tier-A 观测层级中“跨家族 universal dim 11”现象的实质，将其从原始假设的残差流特征重新定位为可能由共享分词器造成的词汇 ID 维度碰撞候选信号，并确立了以 Tier-B 残差流层次作为验证层的具体分析框架。此外，由该数据驱动的“层配方组合”（layer recipe composition）方法催生了新型可组合 LLM 构建思路，即基于跨架构功能对齐矩阵，从不同模型中提取对应能力的中间层以合成定制模型。数据集中关于蒸馏对锚点结构移植效应的分析，亦为后续探索蒸馏过程的内部表征演变提供了初始对比基线与可复现的经验证据。

数据集最近研究

最新研究方向

Mercury MCP数据集聚焦于跨架构大语言模型（LLM）内部表征的观测与对齐，其最新研究前沿在于通过低计算成本（消费级硬件）实现23个模型、13种架构家族的逐层残差流指纹分析。该工作在机制可解释性领域引发关注，核心发现包括跨架构层功能对齐（如qwen-7B第15层与falcon-7B第16层相似度达0.868），以及蒸馏模型对锚点结构的移植现象。同时，数据集揭示了不同架构家族（如mistral、yi）占据替代性残差子空间，为模型组合提供了非干扰性基质。其方法论分层设计（Tier-A候选信号筛选与Tier-B验证层）有效规避了分词器伪影争议，为可解释性社区提供了低成本、可复现的跨架构比较范式，直接支持模型微调、Frankenstein式合并及能力组合等下游应用。