Vezora/news_seniment_gpt_alpacaformat

该数据集是一个基于alpaca格式的版本，源自oliverwang15/news_with_gpt_instructions，包含20k个使用GPT进行情感评分的例子，用于训练fingptv3。

原始信息汇总

数据集概述

数据集名称

• 名称：alpaca formatted version of "oliverwang15/news_with_gpt_instructions"

数据集内容

• 类型：20k examples of grading sentiment using gpt
• 用途：用于训练fingptv3

数据集使用指南

• ALPACA LORA用户指南：

  • 可针对的模块："gate_proj", "down_proj", "up_proj", "q_proj", "v_proj", "k_proj", "o_proj"
  • 常用模块："q_proj", "v_proj", "k_proj", "o_proj"
  • 高性能模块："gate_proj", "down_proj", "up_proj"

• 训练参数：

  • Platypus2-13B / 70B 模型参数：
    • 批量大小：16
    • 微批量大小：1
    • 训练周期数：1
    • 学习率：4e-4 / 3e-4
    • 截断长度：4096
    • lora 等级：16
    • lora alpha：16
    • lora 丢弃率：0.05
    • lora 目标模块：gate_proj, down_proj, up_proj
    • 训练输入：False
    • 添加 EOS 标记：False
    • 长度分组：False
    • 提示模板：alpaca
    • 学习率调度器：cosine
    • 预热步骤：100

• 推荐设置：

  • 批量大小：4-10
  • 截断长度：≤ 2048
  • 加载方式：load_in_4bit, Normal Float, bf16

• 特定软件配置：

  • oobabooga 配置：编辑 "training.py" 文件，修改目标模块
  • alpaca lora 配置：使用 --lora_target_modules 参数运行 train.py 命令

许可证

• 许可证类型：apache-2.0