四维并行训练系统运行日志
收藏国家基础学科公共科学数据中心2026-04-25 收录
下载链接：
https://nbsdc.cn/general/dataDetail?id=69eb93adf175603f068227ba&type=1
下载链接
链接失效反馈官方服务：
资源简介：
本数据集记录了创新的“超网-子网”（Supernet-Subnet）四维并行训练系统的运行状态。该系统在传统三维并行（数据、张量、流水线）的基础上，引入了“子网搜索”作为第四个并行维度，旨在解决神经网络架构搜索（NAS）在大模型场景下的效率问题。日志数据生成于 2025 年 1 月，记录了在动态搜索空间中并行训练和评估数亿级子网的过程。数据详细展示了各搜索阶段（Stage）处理子网批次的时间开销及吞吐量（Subnets/hour），验证了系统在自动化模型设计（AutoML）任务中的高并发处理能力。
提供机构：
浦江国家实验室
