botp/yentinglin-traditional_mandarin_instructions

Taiwan-LLaMa是一个基于LLaMa 2的全参数微调模型，专门用于传统中文应用。该模型在超过50亿个标记上进行了预训练，并在超过49万次对话上进行了指令调优，以支持传统中文并适用于台湾文化及相关应用。模型的关键特性包括传统中文支持、指令调优、在Vicuna基准测试中的表现以及灵活的定制选项。此外，模型还提供了多种检查点，用户可以根据需要选择使用。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-4.0
• 任务类别:
  • 对话
  • 文本生成
  • 文本到文本生成
• 语言: 中文
• 名称: Traditional Chinese Instruction-tuning Set
• 数据量: 100K<n<1M
• 来源: yentinglin/traditional_mandarin_instructions

模型概述

• 模型名称: Taiwan-LLaMa
• 基于模型: LLaMa 2
• 版本: v1.0
• 预训练: 超过50亿个标记
• 指令调优: 超过49万次对话

关键特性

1. 支持繁体中文: 模型经过调优，适用于繁体中文文本理解和生成。
2. 指令调优: 在对话数据上进一步调优，提供上下文感知和指令遵循的响应。
3. 性能基准: 在Vicuna基准测试中，与GPT-4和ChatGPT等模型相比，性能优化。
4. 灵活定制: 提供高级选项，如系统提示、温度、top-p和top-k，以控制模型行为。

数据集链接

• 指令调优数据集: yentinglin/traditional_mandarin_instructions
• 繁体中文预训练数据集: yentinglin/zh_TW_c4

模型架构

• 基础架构: LLaMa 2，利用transformer架构、flash attention 2和bfloat16。
• 预训练阶段: 在大量繁体中文语料库上预训练。
• 调优阶段: 在多轮对话数据上进一步调优，以增强指令遵循和上下文感知能力。

性能评估

• 基准测试: Vicuna基准测试，使用ChatGPT作为基准（100%）。
• 相对性能:
  • GPT-4: 102.59%
  • ChatGPT: 100.00%
  • Taiwan-LLaMa v1.0: 76.76%
  • Claude-Instant-1.2: 74.04%
  • Llama2_Traditional_Chinese_13b_Chat: 56.21%