LLaMa

该数据集采用基于变换器（transformer）的模型设计，旨在提高涉及长距离依赖任务上的性能。此外，LLaMa模型还运用了如预RMS归一化（pre-RMSNorm）和旋转嵌入（rotary embedding）等技术。其规模属于大型，适用于自然语言处理任务。