clover-ai-studio

Clover AI Studio（Santhoshsathish94/clover-ai-studio）是一个采用 MIT 许可、以英文为主要语言的多模态模型资源数据集/权重仓库，任务类别涵盖文本生成、图文到文本和音频文本到文本。它汇集跨三个 Clover 层级的统一预计算权重、代数算子主干（CLVRTRK1 / LFM3TRK1 / NEMOTRK1）、4-bit / direct 专家（CLVR4B01 / experts.direct / experts.4bit.direct）、HybridAgent（C2 · Plan）、11-Level Next-Concept Modeling（C3 · Decode）以及 latent bridges。仓库共 3,266 个文件，总容量约 1,528.08 GiB。每个模型家族均采用相同的五文件夹结构：experts/ 存放预计算路由 MoE 专家、稠密 SwiGLU FFN 专家与 11 级 VQ codebook 专家；trunks/ 存放逐层预计算主干（index.bin、common.bin、operator.bin、operator.4bit.bin）、视觉主干与 global-0/；hybridagent/ 对应 Core 2（Plan），含 plan-trunk-0/ 与 Stage-1..3 HybridLink / HybridAgent 主干及检查点；ncm/ 对应 Core 3（Decode），含 vqvae-trunk-0/、ncm-trunk-0..11/、ptr-trunk-0..2/、mmap vocab bins 与 NCM 权重；bridges/ 对应 Core 3 Bridges，含 bridge-trunk-0/（ComboBridge + ExpertBridge）与跨模型 latent bridge 主干。数据集包含三个模型家族。kimi/ 对应 Kimi K3，2.78T MoE 模型，含 93 个 Backbone 层与 27 个 MoonViT3d 视觉层，定位 Server Tier；experts/ 434 个文件、1,347.30 GiB，含 expert-1/ 至 expert-92/（constants.bin、experts.bin、experts.direct、maps.json）及 vqvae-expert-0/ 至 vqvae-expert-10/；trunks/ 621 个文件、63.28 GiB，含 global-0/（embed_tokens.bf16.bin、embedding_norm.bf16.bin、lm_head.bf16.bin、lm_head.4bit.bin、output_attn_res_norm.bf16.bin、output_attn_res_proj.bf16.bin）、trunk-0/ 至 trunk-92/（index.bin、common.bin、operator.bin、routed-shared.bin）、vision-trunk-0/ 至 vision-trunk-26/、vision-global-0/、open-weights/ 与 engine-inputs/；hybridagent/ 12 个文件、7.51 GiB，含 plan-trunk-0/（CLVRTRK1 + CLVR4B01）以及 checkpoint-clover-true-hybrid-agent-ncm.pt、checkpoint-clover-native-hybrid-agent-ncm.pt、checkpoint-clover-agent-experts.pt；ncm/ 627 个文件、15.37 GiB，含 vqvae_wte.bf16.bin、vqvae_dec.bf16.bin、vqvae-trunk-0/、vqvae-expert-0..10/、ncm-trunk-0..11/、ncm-global-0/、ptr-trunk-0..2/、ptr-global-0/、vision-trunk-0..26/、vision-global-0/、tinystories/precomputed/、wmt14/precomputed/、manifest.json 以及 VQ-VAE、NextConceptTransformer、LexicalPointerDecoder 与 Vision 检查点；bridges/ 18 个文件、0.89 GiB，含 bridge-trunk-0/、q2k3-bridge-trunk-0/（CLVRTRK1 + CLVR4B01）、checkpoint-latent-representation-bridges.pt 与 k3_hybrid_bridges.pt。nemotron/ 对应 NVIDIA Nemotron 3.5 Super VL（120B-A12B），含全部 88 个 Backbone 层、2 个 MTP 层与 32 个 C-RADIO 视觉层，定位 Workstation Tier；experts/ 191 个文件、66.37 GiB，含全部 40 个 backbone MoE 层（expert-1、3、5、...、87/）、expert-mtp-1/（constants.bin、experts.4bit.direct、maps.json，并在 expert-1 与 expert-mtp-1 上提供 experts.direct）及 vqvae-expert-0/ 至 vqvae-expert-10/；trunks/ 476 个文件、17.41 GiB，含 global-0/（embeddings.bf16.bin、lm_head.bf16.bin、lm_head.4bit.bin、norm_f.bf16.bin）、全部 88 个 backbone trunks（trunk-0/ 至 trunk-87/）、trunk-mtp-0/ 与 trunk-mtp-1/、vision-trunk-0/ 至 vision-trunk-31/ 与 vision-global-0/，以及 prepare-manifest.json、config.json、tokenizer.json；hybridagent/ 35 个文件、1.41 GiB，含 plan-trunk-0/、plan-stage-1/ 至 plan-stage-3/（CLVRTRK1 + CLVR4B01）、nemotron_hybridagent_final.pt 与 stage1..3/；ncm/ 374 个文件、3.17 GiB，含 vqvae_wte.bf16.bin、vqvae_dec.bf16.bin、vqvae-trunk-0/、vqvae-expert-0..10/、ncm-trunk-0..11/、ncm-global-0/、ptr-trunk-0..2/、ptr-global-0/、vision-trunk-0..31/、vision-global-0/、manifest.json 与 nemotron_ncm_core_bf16.pt；bridges/ 8 个文件、1.22 GiB，含 bridge-trunk-0/（CLVRTRK1 + CLVR4B01）与 nemotron_hybrid_ncm_bridges.pt。liquid-lfm3/ 对应 Liquid AI LFM3-Omni-2B / LFM3-1.7B，含 24 个 Tri-Hybrid 层，定位 Mobile & Laptop Tier；experts/ 138 个文件、0.63 GiB，含 expert-0/ 至 expert-23/（constants.bin、maps.json、ffn.4bit.bin）及 vqvae-expert-0/ 至 vqvae-expert-10/；trunks/ 126 个文件、1.96 GiB，含 global-0/（embed_tokens.bf16.bin、embedding_norm.bf16.bin、lm_head.4bit.bin、rope_inv_freq.bin）、trunk-0/ 至 trunk-23/（index.bin、common.bin、operator.bin、operator.4bit.bin、ffn.4bit.bin）、prune_lfm3_summary.json 与 tokenizer.json；hybridagent/ 7 个文件、0.04 GiB，含 plan-trunk-0/（CLVRTRK1 + CLVR4B01）与 hybridlink_adapter_2048.pt；ncm/ 188 个文件、0.93 GiB，含 vqvae_wte.bf16.bin、vqvae_dec.bf16.bin、vqvae-trunk-0/、vqvae-expert-0..10/、ncm-trunk-0..11/、ncm-global-0/、ptr-trunk-0..2/、ptr-global-0/、manifest.json、lfm3_ncm_core_bf16.pt、ncm_runtime.py 与 models/；bridges/ 9 个文件、0.60 GiB，含 bridge-trunk-0/（CLVRTRK1 + CLVR4B01）、lfm3_hybrid_ncm_bridges.pt、lfm3_s23_bridges.npz 与 lfm3_s23_bridges_fp16.npz。该资源适用于加载预计算权重进行多模态文本生成、图文到文本与音频文本到文本任务，也适用于研究 MoE 专家路由、HybridAgent 规划、11 级 Next-Concept Modeling 解码、VQ-VAE 词表/潜变量建模、LexicalPointerDecoder、视觉主干以及跨模型 latent bridge。README 未提供样本字段 schema、使用示例、数据采集来源或评测结果，因此其描述以模型规格、文件布局和预计算组件为主。Clover AI Studio (Santhoshsathish94/clover-ai-studio) is an MIT-licensed, primarily English multimodal model resource dataset/weights repository. Its task categories cover text generation, image-text-to-text, and audio-text-to-text. It gathers unified precomputed weights across three Clover tiers, algebraic operator trunks (CLVRTRK1 / LFM3TRK1 / NEMOTRK1), 4-bit / direct experts (CLVR4B01 / experts.direct / experts.4bit.direct), HybridAgent (C2 · Plan), 11-Level Next-Concept Modeling (C3 · Decode), and latent bridges. The repository contains 3,266 files totaling about 1,528.08 GiB. Each model family follows the same five-folder structure: experts/ stores precomputed routed MoE experts, dense SwiGLU FFN experts, and 11-level VQ codebook experts; trunks/ stores layer-wise precomputed trunks (index.bin, common.bin, operator.bin, operator.4bit.bin), vision trunks, and global-0/; hybridagent/ maps to Core 2 (Plan) and contains plan-trunk-0/ plus Stage-1..3 HybridLink / HybridAgent trunks and checkpoints; ncm/ maps to Core 3 (Decode) and contains vqvae-trunk-0/, ncm-trunk-0..11/, ptr-trunk-0..2/, mmap vocab bins, and NCM weights; bridges/ maps to Core 3 Bridges and contains bridge-trunk-0/ (ComboBridge + ExpertBridge) and cross-model latent bridge trunks. The dataset consists of three model families. kimi/ corresponds to Kimi K3, a 2.78T MoE model with 93 Backbone layers and 27 MoonViT3d vision layers, positioned at Server Tier; nemotron/ corresponds to NVIDIA Nemotron 3.5 Super VL (120B-A12B) with 88 Backbone layers, 2 MTP layers, and 32 C-RADIO vision layers, positioned at Workstation Tier; liquid-lfm3/ corresponds to Liquid AI LFM3-Omni-2B / LFM3-1.7B with 24 Tri-Hybrid layers, positioned at Mobile & Laptop Tier. The resource is suitable for loading precomputed weights for multimodal text generation, image-text-to-text, and audio-text-to-text tasks, and for research on MoE expert routing, HybridAgent planning, 11-level Next-Concept Modeling decoding, VQ-VAE vocabulary/latent modeling, LexicalPointerDecoder, vision trunks, and cross-model latent bridges. The README does not provide sample field schema, usage examples, data collection sources, or evaluation results, so the description is mainly based on model specifications, file layout, and precomputed components.

原始信息汇总

Clover AI Studio 数据集总结

基本信息

项目	内容
数据集标识	Santhoshsathish94/clover-ai-studio
数据集页面	https://huggingface.co/datasets/Santhoshsathish94/clover-ai-studio
pretty_name	Clover AI Studio — Unified Precomputed Trunks, Experts, HybridAgent, NCM & Bridges
许可证	MIT
任务类别	text-generation、image-text-to-text、audio-text-to-text
语言	en
标签	clover、kimi-k3、nemotron、liquid-lfm3、hybrid-agent、next-concept-modeling

数据集概述

• 包含统一的预计算权重、代数算子主干（CLVRTRK1 / LFM3TRK1 / NEMOTRK1）、4-bit / direct experts（CLVR4B01 / experts.direct / experts.4bit.direct）、HybridAgent（C2 · Plan）、11-Level Next-Concept Modeling（C3 · Decode），以及跨三个 Clover 层级的潜在桥接。
• 总规模：3,266 个文件，1,528.08 GiB。
• 每个模型家族遵循相同的 5 文件夹结构。

统一五文件夹结构

• experts：预计算路由 MoE 专家、密集 SwiGLU FFN 专家及 11-level VQ codebook 专家。
• trunks：预计算逐层主干（index.bin、common.bin、operator.bin、operator.4bit.bin）、视觉主干与 global-0 内容。
• hybridagent：Core 2（Plan）：预计算 plan-trunk-0，以及 Stage-1..3 HybridLink / HybridAgent 主干与检查点。
• ncm：Core 3（Decode）：预计算 vqvae-trunk-0、ncm-trunk-0..11、ptr-trunk-0..2、mmap vocab bins 与 NCM 权重。
• bridges：Core 3 Bridges：预计算 bridge-trunk-0（ComboBridge + ExpertBridge）与跨模型潜在桥接主干。

模型家族详情

1. Kimi K3

• 规格：2.78T MoE，93 个 Backbone Layers + 27 个 MoonViT3d Vision Layers，Server Tier。
• experts：434 个文件，1,347.30 GiB；包含 expert-1 至 expert-92（constants.bin、experts.bin、experts.direct、maps.json），以及 vqvae-expert-0 至 vqvae-expert-10。
• trunks：621 个文件，63.28 GiB；包含 global-0（embed_tokens.bf16.bin、embedding_norm.bf16.bin、lm_head.bf16.bin、lm_head.4bit.bin、output_attn_res_norm.bf16.bin、output_attn_res_proj.bf16.bin）、trunk-0 至 trunk-92（index.bin、common.bin、operator.bin、routed-shared.bin）、vision-trunk-0 至 vision-trunk-26、vision-global-0、open-weights、engine-inputs。
• hybridagent：12 个文件，7.51 GiB；包含 plan-trunk-0（CLVRTRK1 + CLVR4B01）、checkpoint-clover-true-hybrid-agent-ncm.pt、checkpoint-clover-native-hybrid-agent-ncm.pt、checkpoint-clover-agent-experts.pt。
• ncm：627 个文件，15.37 GiB；包含 vqvae_wte.bf16.bin、vqvae_dec.bf16.bin、vqvae-trunk-0、vqvae-expert-0..10、ncm-trunk-0..11、ncm-global-0、ptr-trunk-0..2、ptr-global-0、vision-trunk-0..26、vision-global-0、tinystories 的 precomputed 目录、wmt14 的 precomputed 目录、manifest.json，以及 VQ-VAE、NextConceptTransformer、LexicalPointerDecoder 与 Vision 检查点。
• bridges：18 个文件，0.89 GiB；包含 bridge-trunk-0、q2k3-bridge-trunk-0（CLVRTRK1 + CLVR4B01）、checkpoint-latent-representation-bridges.pt、k3_hybrid_bridges.pt。

2. NVIDIA Nemotron 3.5 Super VL

• 规格：120B-A12B，88 个 Backbone + 2 个 MTP + 32 个 C-RADIO Vision Layers，Workstation Tier。
• experts：191 个文件，66.37 GiB；包含所有 40 个 backbone MoE layers（expert-1, 3, 5, ..., 87）、expert-mtp-1（constants.bin、experts.4bit.direct、maps.json，且 expert-1 与 expert-mtp-1 含 experts.direct）、vqvae-expert-0..10。
• trunks：476 个文件，17.41 GiB；包含 global-0（embeddings.bf16.bin、lm_head.bf16.bin、lm_head.4bit.bin、norm_f.bf16.bin）、全部 88 个 backbone trunks（trunk-0 至 trunk-87）、trunk-mtp-0 与 trunk-mtp-1、vision-trunk-0 至 vision-trunk-31 与 vision-global-0、prepare-manifest.json、config.json、tokenizer.json。
• hybridagent：35 个文件，1.41 GiB；包含 plan-trunk-0、plan-stage-1 至 plan-stage-3（CLVRTRK1 + CLVR4B01）、nemotron_hybridagent_final.pt、stage1..3。
• ncm：374 个文件，3.17 GiB；包含 vqvae_wte.bf16.bin、vqvae_dec.bf16.bin、vqvae-trunk-0、vqvae-expert-0..10、ncm-trunk-0..11、ncm-global-0、ptr-trunk-0..2、ptr-global-0、vision-trunk-0..31、vision-global-0、manifest.json、nemotron_ncm_core_bf16.pt。
• bridges：8 个文件，1.22 GiB；包含 bridge-trunk-0（CLVRTRK1 + CLVR4B01）、nemotron_hybrid_ncm_bridges.pt。

3. Liquid AI LFM3-Omni-2B / LFM3-1.7B

• 规格：24 个 Tri-Hybrid Layers，Mobile & Laptop Tier。
• experts：138 个文件，0.63 GiB；包含 expert-0 至 expert-23（constants.bin、maps.json、ffn.4bit.bin）、vqvae-expert-0..10。
• trunks：126 个文件，1.96 GiB；包含 global-0（embed_tokens.bf16.bin、embedding_norm.bf16.bin、lm_head.4bit.bin、rope_inv_freq.bin）、trunk-0 至 trunk-23（index.bin、common.bin、operator.bin、operator.4bit.bin、ffn.4bit.bin）、prune_lfm3_summary.json、tokenizer.json。
• hybridagent：7 个文件，0.04 GiB；包含 plan-trunk-0（CLVRTRK1 + CLVR4B01）、hybridlink_adapter_2048.pt。
• ncm：188 个文件，0.93 GiB；包含 vqvae_wte.bf16.bin、vqvae_dec.bf16.bin、vqvae-trunk-0、vqvae-expert-0..10、ncm-trunk-0..11、ncm-global-0、ptr-trunk-0..2、ptr-global-0、manifest.json、lfm3_ncm_core_bf16.pt、ncm_runtime.py、models。
• bridges：9 个文件，0.60 GiB；包含 bridge-trunk-0（CLVRTRK1 + CLVR4B01）、lfm3_hybrid_ncm_bridges.pt、lfm3_s23_bridges.npz、lfm3_s23_bridges_fp16.npz。

搜集汇总

数据集介绍

构建方式

在异构大模型预计算权重复用与多模态智能体协同的语境中，Clover AI Studio以统一五目录范式整合Kimi K3、NVIDIA Nemotron 3.5 Super VL与Liquid LFM3等模型家族。每个家族均设experts、trunks、hybridagent、ncm与bridges，分别容纳预计算路由MoE专家、密集SwiGLU FFN专家、11级VQ码本专家、逐层代数算子trunk、视觉trunk、HybridAgent规划轨、Next-Concept Modeling解码组件及跨模型潜在桥接。构建过程将权重与算子二进制化为CLVRTRK1、LFM3TRK1、NEMOTRK1等格式，并以4-bit/direct专家和检查点文件承载推理所需参数，最终形成3266个文件、1528.08 GiB的跨层级资源库。

使用方法

在模型部署、复现实验与多模态应用开发中，使用者可经由Hugging Face仓库获取该数据集，并依据目标模型家族进入kimi、nemotron或liquid-lfm3目录。读取manifest、config与tokenizer等元数据后，从trunks载入逐层主干、全局嵌入与输出头，从experts选取路由专家或4-bit/direct专家。hybridagent中的plan-trunk与检查点可用于C2 Plan规划流程，ncm中的VQ-VAE、ncm-trunk、ptr-trunk及权重文件支撑C3 Decode的11级概念建模，bridges则提供跨模型潜在表示桥接。该资源可服务于文本生成、图文文本到文本与音频文本到文本任务，使用时应遵循MIT许可与各模型附带配置。

背景与挑战

背景概述

在生成式人工智能向多模态与混合专家架构演进的背景下，Clover AI Studio数据集由Hugging Face用户Santhoshsathish94发布，署名Clover AI Studio，采用MIT许可，创建时间在现有README中未明确标注。该数据集以统一预计算权重、代数算子trunks、4-bit与direct experts、HybridAgent、11-Level Next-Concept Modeling及潜在桥接为核心，覆盖Kimi K3、NVIDIA Nemotron 3.5 Super VL与Liquid AI LFM3等模型家族，总计3266个文件、1528.08 GiB。其核心研究问题在于跨服务器、工作站与移动三层架构，整合文本生成、图像-文本到文本、音频-文本到文本任务，推进多模态混合专家模型的预计算与跨模型潜在表示复用。对相关领域而言，该数据集提供超大规模异构模型资源，有利于复现、部署与后续研究。

当前挑战

面向多模态混合专家模型的高效训练、部署与跨模型知识迁移，该数据集需应对文本、图像-文本、音频-文本生成中的统一表示、专家路由、下一代概念建模与潜在桥接等核心问题。构建过程中，千亿至万亿参数级模型预计算权重的组织与校准、五文件夹结构的一致性维护、4-bit与direct experts及代数算子trunks的格式兼容、VQ-VAE与NCM多级解码、内存映射词表及跨模型桥接检查点的协同，均构成显著工程挑战。海量文件达3266个、总规模约1528.08 GiB，对存储、传输、量化精度与运行时复现提出严苛要求。

常用场景

经典使用场景

在统一预计算模型工件的语境中，Clover AI Studio 的经典使用场景聚焦于跨层级模型推理与生成。该资源以 kimi、nemotron、liquid-lfm3 三档体系提供预计算 trunks、experts、hybridagent、ncm 与 bridges，覆盖文本生成、图文到文本及音频文本到文本任务。研究者可加载 CLVRTRK1、LFM3TRK1、NEMOTRK1 代数算子主干，结合 4-bit 或 direct 专家，执行 MoE 路由、11级 VQ 码本专家解码以及 HybridAgent 的 C2·Plan 规划。它适用于复现 K3、Nemotron 3.5 Super VL 与 LFM3-Omni 异构推理流程，并借 latent bridges 进行跨模型潜表示迁移与多模态条件生成。

解决学术问题

从学术研究视角看，该数据集缓解了大模型可复现性、异构架构统一评测与多模态表示对齐等问题。它把2.78T MoE、120B-A12B VL与移动端Tri-Hybrid模型的预计算权重、算子主干、路由专家和桥接模块完整固化，使研究者能在相同工件协议下比较MoE稀疏激活、4-bit量化、VQ-VAE离散潜变量与Next-Concept Modeling。其11级NCM与ptr解码路径为概念级生成、词法指针及视觉语言融合提供可控实验台，意义在于降低万亿级模型研究与跨模型潜空间迁移的工程门槛，推动可重复、可组合的生成式AI学术范式。

实际应用

落入实际应用层面，该资源服务于从服务器到移动端的混合部署与多模态智能体构建。Kimi档可支撑高端服务器侧长上下文文本与视觉理解，Nemotron档面向工作站级图文及视频推理，Liquid LFM3档适配笔记本和移动设备的低比特生成。开发者可调用HybridAgent规划主干实施任务分解，利用NCM解码实现概念到词元的受控生成，并通过bridges连接不同模型潜空间，用于跨模型蒸馏、增量适配、语音文本交互、图像描述与边缘端Agent。4-bit及direct专家文件降低显存占用，为私有化部署和异构推理流水线提供工程便利。

数据集最近研究

最新研究方向

在大规模基础模型向模块化、多模态与智能体化演进的背景下，Clover AI Studio以预计算权重、代数算子主干与跨层级潜在桥接为核心，将Kimi K3、Nemotron与Liquid LFM3的专家、主干、HybridAgent和NCM解码资源统一编排。其前沿方向聚焦异构模型间潜在空间对齐、动态专家路由与“规划—解码”协同：借由ComboBridge、ExpertBridge及11级Next-Concept Modeling，把MoE专家、VQ码本与多模态主干联结为可迁移的混合智能体。该路线回应了高效推理、边缘—服务器分层部署与多模态智能体泛化的热点议题，为降低重训成本、增强跨架构复用和可复现研究提供了新的基础设施意义。