Alpaca-COT

美洲驼是一部伟大的作品，展示了惊人的零射和少射能力。它大大降低了训练、精细操作和使用竞争性大型语言模型的成本，即LLaMA-13B优于GPT-3(175B)，LLaMA-65B具有PaLM-540B竞争力。最近，为了提高美洲驼的指令跟随能力，斯坦福羊驼对由自我指令技术产生的52k指令跟随数据进行了LLaMA-7B。然而，目前，LLM研究界仍然面临三个挑战: 1。即使是LLaMA-7b，对计算资源的要求仍然很高; 2.很少有用于指令精整的开源数据集; 以及3.缺乏关于各种类型的教学对模型能力的影响的实证研究，例如对汉语教学的反应能力和CoT推理。

搜集汇总

背景与挑战

背景概述

Alpaca-COT是一个指令微调平台，针对大型语言模型研究中计算资源要求高、开源指令数据集稀缺及教学类型影响实证研究不足的挑战而设计。它基于LLaMA模型，通过收集指令数据来提升模型的指令跟随和推理能力，支持包括中文和CoT在内的多种教学类型。