maknee/ggml-vicuna-v0-quantized

这些是Vicuna 7B和13B模型的量化ggml二进制文件，适用于Vicuna v0版本。这些文件可以与minigpt4 ggml模型一起使用。推荐的实现版本是Q5_K和Q6_K，如果有问题可以使用Q4_1或Q4_0。Vicuna是一个开源的聊天机器人，通过微调LLaMA模型在ShareGPT收集的用户共享对话上进行训练。它是一个基于Transformer架构的自回归语言模型。模型的主要用途是大型语言模型和聊天机器人的研究，主要用户是自然语言处理、机器学习和人工智能领域的研究人员和爱好者。训练数据集包括从ShareGPT.com收集的70K对话，评估数据集包括80个多样化的问题集，并使用GPT-4来评判模型输出。

These are quantized ggml binary files for Vicuna 7B and 13B models, compatible with Vicuna v0 releases. These files can also be used with minigpt4 ggml models. Q5_K and Q6_K are the recommended implementation variants; Q4_1 or Q4_0 can be used if issues occur. Vicuna is an open-source chatbot trained by fine-tuning LLaMA models on user-shared conversations collected from ShareGPT. It is an autoregressive language model based on the Transformer architecture. Its primary application is research on large language models and chatbots, targeting researchers and enthusiasts in the fields of natural language processing (NLP), machine learning (ML), and artificial intelligence (AI). The training dataset includes 70,000 conversations collected from ShareGPT.com, while the evaluation dataset comprises a diverse set of 80 questions, with model outputs evaluated by GPT-4.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 标签: vicuna, vicuna-v0, ggml
• 处理流程标签: conversational
• 支持语言: en, bg, ca, cs, da, de, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk
• 库名称: adapter-transformers

模型详情

• 模型类型: 基于transformer架构的自回归语言模型
• 训练时间: 2023年3月至2023年4月
• 开发组织: Vicuna团队，成员来自UC Berkeley, CMU, Stanford, UC San Diego
• 模型用途: 主要用于大型语言模型和聊天机器人的研究
• 目标用户: 自然语言处理、机器学习、人工智能领域的研究人员和爱好者

训练数据集

• 数据来源: 70K对话，收集自ShareGPT.com
• 数据处理: 48k用于未审查版本，22k被移除（详见https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered）

评估数据集

• 评估方法: 通过创建80个多样性问题，并利用GPT-4评估模型输出
• 详细信息: 参见https://vicuna.lmsys.org/