LLAMA3-8B
收藏arXiv2025-09-30 收录
下载链接：
https://github.com/feifeibear/long-context-attention
下载链接
链接失效反馈官方服务：
资源简介：
该数据集被用于评估SP-Unified注意力模块在不同配置和序列长度下的性能表现。此外，该数据集还用于训练LLAMA3-8B模型，涵盖不同的序列长度和配置。它在展示SP-Unified方法相较于其他如SP-Ring等方法的优势方面发挥了重要作用。在大规模模型训练中，该数据集支持序列长度高达208K的性能基准测试任务。
提供机构：
NVIDIA
