四维并行训练系统运行日志
收藏国家基础学科公共科学数据中心2026-04-25 收录
官方服务：
资源简介：
本数据集记录了创新的“超网-子网”（Supernet-Subnet）四维并行训练系统的运行状态。该系统在传统三维并行（数据、张量、流水线）的基础上，引入了“子网搜索”作为第四个并行维度，旨在解决神经网络架构搜索（NAS）在大模型场景下的效率问题。日志数据生成于 2025 年 1 月，记录了在动态搜索空间中并行训练和评估数亿级子网的过程。数据详细展示了各搜索阶段（Stage）处理子网批次的时间开销及吞吐量（Subnets/hour），验证了系统在自动化模型设计（AutoML）任务中的高并发处理能力。
提供机构：
浦江国家实验室搜集汇总
数据集介绍
背景与挑战
背景概述
该数据集记录了创新的四维并行训练系统的运行日志，其在传统三维并行（数据、张量、流水线）基础上引入“子网搜索”作为第四维度，以提升大规模神经网络架构搜索（NAS）的效率。日志数据生成于2025年1月，涵盖动态搜索空间中数亿级子网的并行训练与评估过程，详细记录了各搜索阶段处理子网批次的时间开销及吞吐量，验证了系统在自动化模型设计任务中的高并发处理能力。
以上内容由遇见数据集搜集并总结生成
