dgrx-systems/Spectra-Mamba-KAN-Hybrid-Language-Model

--- license: mit tags: - architecture - language-model - mamba - state-space-model - KAN - kolmogorov-arnold-networks - research - nlp pretty_name: Spectra Architecture Reference --- # Spectra: A Mamba-KAN Hybrid Language Model A complete architectural, mathematical, and implementation reference for **Spectra** — a hybrid language model that fuses **Selective State Space Models (Mamba)** with **Kolmogorov-Arnold Networks (KANs)** in a parallel block design with learnable mixing weights. **Key properties:** - 🚀 **O(L) complexity** — eliminates the quadratic attention memory wall - 🧠 **Constant inference memory** — SSM state replaces the growing KV cache - 🔍 **Interpretable** — every KAN edge is a plottable univariate B-spline - 📐 **339M parameters** at base configuration (d_model=768, 24 layers) ---                --- ## Files - [`Spectra_Architecture_fixed.pdf`](Spectra_Architecture_fixed.pdf) — full downloadable document ## Citation ``` @misc{spectra2024, title = {Spectra: A Mamba-KAN Hybrid Language Model}, year = {2024}, note = {Architecture reference document, MIT License} } ```许可证：MIT许可证 标签： - 架构 - 语言模型 - Mamba - 状态空间模型 - 科尔莫戈罗夫-阿诺德网络（Kolmogorov-Arnold Networks, KAN） - 科尔莫戈罗夫-阿诺德网络 - 研究 - 自然语言处理（Natural Language Processing, NLP） 美观名称：Spectra架构参考 # Spectra：一种Mamba-KAN混合语言模型 本资源为**Spectra**提供完整的架构、数学原理与实现参考——**Spectra**是一种混合语言模型，通过可学习的混合权重，采用并行块设计融合了**选择性状态空间模型（Selective State Space Models, Mamba）**与**科尔莫戈罗夫-阿诺德网络（Kolmogorov-Arnold Networks, KAN）**。 **核心特性：** - 🚀 **O(L) 复杂度**——破除了二次注意力机制的内存墙瓶颈 - 🧠 **恒定推理内存占用**——以状态空间模型（State-Space Model, SSM）的状态替代不断膨胀的键值缓存（KV Cache） - 🔍 **可解释性优异**——每个KAN边均为可绘制的单变量B样条曲线 - 📐 **基础配置参数量达3.39亿**（d_model=768，共24层） ---                --- ## 文件 - [`Spectra_Architecture_fixed.pdf`](Spectra_Architecture_fixed.pdf) — 完整可下载文档 ## 引用 @misc{spectra2024, title = {Spectra: A Mamba-KAN Hybrid Language Model}, year = {2024}, note = {架构参考文档，MIT许可证} }