liminerity/Phigment6-The-Worlds-Most-Powerful-3b-Model
收藏Hugging Face2024-02-29 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/liminerity/Phigment6-The-Worlds-Most-Powerful-3b-Model
下载链接
链接失效反馈官方服务：
资源简介：
Phigment6是一个基于Phi-2架构的3亿参数大型语言模型，通过一种称为“通过逆向合并策略的多样化知识增强（DKERS）”的方法构建。该方法通过战略性地结合多个预训练模型（如amu/dpo-phi2、g-ronimo/phi-2-OpenHermes-2.5、vince62s/phi-2-psy和mobiuslabsgmbh/aanaphi2-v0.1），创建了一个更强大和准确的语言模型。Phigment6在性能指标（如困惑度、F1分数和ROUGE分数）上表现出显著的改进，并展示了增强的泛化能力和对抗攻击的抵抗力。
提供机构：
liminerity
原始信息汇总
数据集概述
数据集名称
- 标题: 创建全球首个3B参数LLM - Phigment6，基于Phi-2模型，采用逆向融合策略的多样化知识增强（DKERS）方法
数据集内容
- 模型: Phigment6
- 参数规模: 3B（30亿）
- 基础模型: Phi-2
- 增强方法: 多样化知识增强（DKERS）方法，采用逆向融合策略
研究方向
- 目标: 构建全球首个具有30亿参数的语言模型
- 技术: 利用逆向融合策略进行知识增强
