zooai/zen-agentic-dataset

--- license: other license_name: commercial license_link: https://hanzo.ai/contact language: - en tags: - agentic - coding - llm - training - claude - programming size_categories: - 1B<n<10B --- # Zen Agentic Dataset **8.47 Billion Tokens** of real-world agentic AI programming, blockchain development, and cutting-edge infrastructure code. ## Dataset Overview A comprehensive training dataset combining Claude Code interactions with full git history from 1,400+ repositories spanning 15 years of professional development. | Metric | Value | |--------|-------| | **Total Tokens** | 8.47 billion | | **Training Samples** | 3.35 million | | **Validation Samples** | 100,000 | | **Total Size** | ~27 GB | | **Repositories** | 1,452 | | **Time Span** | 15 years (2010-2025) | ## Data Composition | Component | Tokens | Percentage | |-----------|--------|------------| | Claude Code Debug Sessions | 2.42B | 29% | | Claude Conversations | 1.14B | 13% | | Claude Interactions | 0.86B | 10% | | Git History | 4.03B | 48% | ## Domain Coverage ### Agentic AI & LLM Infrastructure - Model Context Protocol (MCP) - 260+ tool implementations - Multi-agent orchestration - Claude, GPT-4, Gemini integrations - Agent frameworks - Planning, memory, tool use, reflection ### Web3 & Blockchain - Smart contracts - Solidity, Vyper (ERC20, ERC721, DeFi) - Consensus engines - Snow family, BFT, DAG-based protocols - Cross-chain bridges and DeFi protocols ### Cryptography & Security - Post-quantum cryptography implementations - Threshold cryptography and MPC - Zero-knowledge proofs experimentation ### Modern Development - Full-stack TypeScript - Next.js 14+, React 18+ - Systems programming - Rust, Go, Python, C/C++ - DevOps - Docker, Kubernetes, CI/CD ## Licensing & Access **This dataset is available for research and commercial licensing.** ### For Developers & Researchers We award grants to individuals and teams who want to train models on this dataset, particularly those building: - Models for specific blockchain ecosystems - Open-source AI tools using OpenAI-compatible protocols - Research advancing agentic AI capabilities ### To Request Access **Contact:** [e-mail] Please include: - Intended use case (training, research, evaluation) - Organization/affiliation - Target ecosystem (if applicable) - Licensing requirements ### Supported Organizations Dataset mirrors are maintained by: - [Hanzo AI](https://hanzo.ai) - AI infrastructure platform - [Lux Network](https://lux.network) - AI compute settlement layer - [Zen LM](https://zenlm.org) - Open model research - [Zoo Labs](https://zoo.ngo) - Decentralized AI research ## Models Trained on This Dataset | Model | Size | Architecture | Status | |-------|------|--------------|--------| | Zen Coder 4B | 4B | Qwen3 | Trained | | Zen Coder 24B | 24B | Devstral Small 2 | Trained | | Zen Coder 123B | 123B | Devstral 2 | Training | | Zen Coder Max | 358B | GLM-4.7 (MoE) | Planned | | Zen Coder Ultra | 1T | Kimi K2 (MoE) | Planned | ## Training Framework Use [Zen Trainer](https://github.com/zenlm/zen-trainer) for fine-tuning: ```python from zen_trainer import ZenTrainer trainer = ZenTrainer( model_key="qwen3-4b", dataset_path="hanzoai/zen-agentic-dataset-private", # Requires access output_dir="./output/my-model", ) trainer.train() ``` ## Related Projects - [Zen Trainer](https://github.com/zenlm/zen-trainer) - Training framework - [Hanzo MCP](https://github.com/hanzoai/mcp) - Model Context Protocol (260+ tools) - [Hanzo AI](https://hanzo.ai) - AI infrastructure platform - [Lux Network](https://lux.network) - AI compute settlement layer - [Zoo Labs](https://zoo.ngo) - Decentralized AI research ## Citation ```bibtex @dataset{zen_agentic_dataset, author = {Kelling, Zach}, title = {Zen Agentic Dataset: 8.47B Tokens of Agentic AI Programming}, year = {2025}, publisher = {Zoo Labs Foundation}, url = {https://huggingface.co/datasets/hanzoai/zen-agentic-dataset} } ``` --- **Maintainer:** [e-mail] **License:** Commercial - Contact for licensing terms--- 许可证：其他 许可证名称：商业用途 许可证链接：https://hanzo.ai/contact 语言： - 英语 标签： - 智能体（agentic） - 编程 - 大语言模型（LLM） - 训练 - Claude - 程序开发 规模类别： - 10亿 < Token数量 < 100亿 --- # Zen 智能体数据集 **84.7亿Token（Token）** 的真实世界智能体（agentic）AI编程、区块链开发与前沿基础设施代码。 ## 数据集概览 本数据集为综合性训练数据集，整合了Claude Code交互数据与1400余个代码仓库的完整Git历史，涵盖15年的专业开发历程。 | 指标 | 数值 | |--------|-------| | **总Token数** | 84.7亿 | | **训练样本数** | 335万 | | **验证样本数** | 10万 | | **总数据体积** | 约27 GB | | **关联仓库数** | 1452个 | | **时间跨度** | 15年（2010年-2025年） | ## 数据构成 | 数据组件 | Token数量 | 占比 | |-----------|--------|------------| | Claude Code 调试会话 | 24.2亿 | 29% | | Claude 对话数据 | 11.4亿 | 13% | | Claude 交互数据 | 8.6亿 | 10% | | Git 历史数据 | 40.3亿 | 48% | ## 覆盖领域 ### 智能体AI与大语言模型基础设施 - 模型上下文协议（Model Context Protocol, MCP）：260余个工具实现 - 多智能体编排：集成Claude、GPT-4、Gemini - 智能体框架：规划、记忆、工具调用、反思机制 ### Web3与区块链 - 智能合约：支持Solidity、Vyper语言（涵盖ERC20、ERC721、DeFi协议） - 共识引擎：Snow系列、BFT、基于DAG的协议 - 跨链桥与DeFi协议 ### 密码学与安全 - 后量子密码学实现 - 门限密码学与多方计算（MPC） - 零知识证明（Zero-knowledge proofs, ZKP）实验项目 ### 现代软件开发 - 全栈TypeScript：支持Next.js 14+、React 18+ - 系统级编程：涵盖Rust、Go、Python、C/C++ - DevOps：Docker、Kubernetes、CI/CD流程 ## 授权与访问 **本数据集可用于研究与商业授权。** ### 面向开发者与研究者 我们为希望基于本数据集训练模型的个人与团队提供资助，尤其支持以下方向： - 面向特定区块链生态的模型开发 - 兼容OpenAI协议的开源AI工具研发 - 推动智能体AI能力进阶的研究项目 ### 申请访问方式 **联系邮箱：** [e-mail] 请提供以下信息： - 预期用途（训练、研究、评估） - 所属机构/合作单位 - 目标生态（如适用） - 授权需求 ### 支持镜像的机构 本数据集的镜像由以下机构维护： - [Hanzo AI](https://hanzo.ai)：AI基础设施平台 - [Lux Network](https://lux.network)：AI计算结算层 - [Zen LM](https://zenlm.org)：开源模型研究机构 - [Zoo Labs](https://zoo.ngo)：去中心化AI研究团队 ## 基于本数据集训练的模型 | 模型名称 | 参数规模 | 架构 | 开发状态 | |-------|------|--------------|--------| | Zen Coder 4B | 40亿 | Qwen3 | 已完成训练 | | Zen Coder 24B | 240亿 | Devstral Small 2 | 已完成训练 | | Zen Coder 123B | 1230亿 | Devstral 2 | 训练中 | | Zen Coder Max | 3580亿 | GLM-4.7 (MoE) | 规划中 | | Zen Coder Ultra | 1万亿 | Kimi K2 (MoE) | 规划中 | ## 训练框架 使用[Zen Trainer](https://github.com/zenlm/zen-trainer)进行微调： python from zen_trainer import ZenTrainer trainer = ZenTrainer( model_key="qwen3-4b", dataset_path="hanzoai/zen-agentic-dataset-private", # 需申请访问权限 output_dir="./output/my-model", ) trainer.train() ## 相关项目 - [Zen Trainer](https://github.com/zenlm/zen-trainer)：训练框架 - [Hanzo MCP](https://github.com/hanzoai/mcp)：模型上下文协议（260余个工具） - [Hanzo AI](https://hanzo.ai)：AI基础设施平台 - [Lux Network](https://lux.network)：AI计算结算层 - [Zoo Labs](https://zoo.ngo)：去中心化AI研究团队 ## 引用格式 bibtex @dataset{zen_agentic_dataset, author = {Kelling, Zach}, title = {Zen Agentic Dataset: 8.47B Tokens of Agentic AI Programming}, year = {2025}, publisher = {Zoo Labs Foundation}, url = {https://huggingface.co/datasets/hanzoai/zen-agentic-dataset} } --- **维护者：** [e-mail] **许可证：** 商业授权 - 请联系获取授权条款