52K demonstrations used to fine-tune Alpaca

在学术预算下训练高质量的教学遵循模型有两个重要的挑战: 强大的预先训练的语言模型和高质量的教学遵循数据。第一个挑战是通过最近发布的Meta的新美洲驼模型来解决的。对于第二个挑战，自我指导论文建议使用现有的强语言模型来自动生成指令数据。特别地，羊驼是一种语言模型，使用从OpenAI text-davinci-003生成的52k指令跟随演示从LLaMA 7B模型进行监督学习进行微调。