Vezora/Mini_Orca_Code_Uncencored_alpaca_Format

该数据集是psmathurs Mini orca数据集的修改版本，格式化为alpaca格式并且未经过审查。数据集经过过滤，仅包含约50,000个编码指令的示例。

原始信息汇总

数据集概述

数据集来源与格式

• 本数据集是基于"psmathur"的Mini orca数据集的修改版本，格式化为alpaca格式，且未经审查。

数据集内容

• 数据集经过筛选，仅包含约50,000个代码示例，主要围绕编程指令。

使用指南

• 对于ALPACA LORA用户，推荐使用的模块包括："gate_proj", "down_proj", "up_proj", "q_proj", "v_proj", "k_proj", "o_proj"。
• 大多数LORA模型使用："q_proj", "v_proj", "k_proj", "o_proj"。
• Platypus模型推荐使用："gate_proj", "down_proj", "up_proj"。

训练参数

• Platypus模型的超参数设置如下：
  • 模型大小：13B和70B
  • 批量大小：16
  • 微批量大小：1
  • 训练周期：1
  • 学习率：4e-4 / 3e-4
  • 截断长度：4096
  • LORA等级：16
  • LORA alpha：16
  • LORA dropout：0.05
  • LORA目标模块：gate_proj, down_proj, up_proj
  • 训练输入：False
  • 添加EOS标记：False
  • 按长度分组：False
  • 提示模板：alpaca
  • 学习率调度器：余弦
  • 预热步骤：100

推荐设置

• 推荐使用批量大小4-10，截断长度≤2048，以避免VRAM问题。
• 使用4位加载，正常浮点和bf16。

训练配置修改

• 使用oobabooga进行训练时，需修改"training.py"文件中的标准模块设置。
• 使用alpaca lora进行训练时，需在train.py命令中添加--lora_target_modules参数。