BlaGPT

该数据集旨在研究GPT-2小型转换器模型中的注意力机制，其中包含了不同注意力机制的训练配置，如线性注意力和softmax注意力。该数据集的任务是评估注意力机制对模型性能的影响。