万亿参数模型MindSpore训练加速测试数据
收藏国家基础学科公共科学数据中心2026-01-30 收录
下载链接：
https://nbsdc.cn/general/dataDetail?id=683de9dc195d261233189755&type=1
下载链接
链接失效反馈官方服务：
资源简介：
该数据为证明万亿参数量模型使用MindSpore优化技术后，在同等算力下模型的训练时间缩短30%以上。由于万亿参数稠密模型至少需要1000张NPU卡才能拉起训练，千张 NPU 级集群训练成本极高、且难以获取，因此采用扩大模型参数量的方式折算万亿参数模型在千卡下性能提升30%，具体方法为基于64卡完成模型训练，将模型参数、Pipeline切分数量扩大一倍后在128卡下完成训练，通过64卡和128卡性能折算万亿参数千卡下性能提升超过30%。
提供机构：
华为技术有限公司
