Vezora/Gorilla_Alpaca_Format

该数据集用于训练gorilla 7b模型，采用alpaca格式，适用于lora训练。目前数据集可能无法正常工作，需要进一步测试。文件中还提供了关于ALPACA LORA用户的信息，包括可以用于lora训练的模块、Platypus模型的超参数设置，以及一些训练建议。

原始信息汇总

数据集概述

数据集用途

本数据集用于训练Gorilla 7b模型，采用Alpaca格式，特别适用于Lora训练。

数据集来源

感谢Microsoft和UC Berkeley对本数据集的开源贡献。

数据集状态

目前数据集可能存在问题，需要进一步测试。Gorilla团队计划发布训练代码，以帮助理解和使用本数据集。

Lora训练模块

• 可针对的模块包括："gate_proj", "down_proj", "up_proj", "q_proj", "v_proj", "k_proj", "o_proj"。
• 多数Lora模型使用的模块："q_proj", "v_proj", "k_proj", "o_proj"。
• 取得优异结果的Platypus模型使用的模块："gate_proj", "down_proj", "up_proj"。

训练参数

• Platypus模型的超参数设置：
  • 模型规模：13B和70B
  • 批次大小：16
  • 微批次大小：1
  • 训练周期数：1
  • 学习率：4e-4 / 3e-4
  • 截断长度：4096
  • Lora等级：16
  • Lora alpha：16
  • Lora dropout：0.05
  • Lora目标模块：gate_proj, down_proj, up_proj
  • 训练输入：False
  • 添加EOS标记：False
  • 按长度分组：False
  • 提示模板：alpaca
  • 学习率调度器：余弦
  • 预热步骤：100

训练建议

建议使用批次大小4-10和截断长度≤2048，以避免VRAM问题。使用load_in_4bit, Normal Float, 和bf16设置。对于单个24GB显卡。

训练配置

• 使用oobabooga时，需编辑"oobabooga_windows ext-generation-webuimodules"目录下的"training.py"文件，修改第49行的标准模块为目标模块。
• 使用Alpaca Lora时，运行train.py命令时需使用--lora_target_modules参数。为加载4bit，需编辑train文件，添加load_in_4bit, bf16, 和normal float量化设置。