Vezora/Wizard_Math_Alpaca

该数据集包含两个文件：Math.json和GM8SK.jsonl，它们被转换为Alpaca格式。GM8sk.jsonl用于评估，Math.json用于训练。数据集还提供了关于ALPACA LORA用户的使用建议，包括可以针对的模块和超参数设置。

This dataset contains two files: Math.json and GM8SK.jsonl, both of which are converted to the Alpaca format. GM8SK.jsonl is used for evaluation, while Math.json is utilized for training. The dataset also provides usage guidelines for users of Alpaca LoRA, including recommended target modules and hyperparameter settings.

原始信息汇总

数据集概述

数据文件

• MATH_Alpaca.json: 包含约5,000个示例，用于评估。
• gm8sk_Alpaca.json: 包含约1,000个示例，用于评估。

训练与评估

• 数据集可用于训练模型。

模型训练建议

• ALPACA LORA用户: 可针对以下模块使用lora: "gate_proj", "down_proj", "up_proj", "q_proj", "v_proj", "k_proj", "o_proj"。
• Platypus模型: 使用以下模块: "gate_proj", "down_proj", "up_proj"。

超参数设置

• Platypus2-13B / 70B模型:
  • 批量大小: 16
  • 微批量大小: 1
  • 训练轮数: 1
  • 学习率: 4e-4 / 3e-4
  • 截断长度: 4096
  • lora rank: 16
  • lora alpha: 16
  • lora dropout: 0.05
  • lora目标模块: "gate_proj", "down_proj", "up_proj"
  • 训练输入: False
  • 添加eos token: False
  • 按长度分组: False
  • 提示模板: alpaca
  • 学习率调度器: cosine
  • 预热步骤: 100

训练建议

• 建议使用批量大小为4-10，截断长度不超过2048，以避免VRAM问题。
• 使用load_in_4bit, Normal Float, 和bf16。
• 对于单张24GB显卡，需编辑"training.py"文件以修改目标模块。
• 使用alpaca lora时，运行train.py命令时需添加--lora_target_modules参数。