一种集成于超算作业调度系统的应用并行参数优化方法

随着高性能计算体系结构的发展，软件与硬件都具有了多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时，具有非常多的分配对应方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定，并对计算效率影响很大。随着计算规模与复杂度的提升，多个并行参数的可配置空间越来越大，用户越来越难以确定最佳的并行参数值。这类运行时优化问题在科学计算应用中较为普遍，但相关的研究与解决方法比较少见。在本工作中，以 VASP
应用为例，首先分析了该应用的多层并行结构，展示了不同并行参数配置引发的巨大运行速度差异。然后，提出一个基于约化并行效率指标的全自动运行优化方法，其不仅可以帮助用户简单快捷地确定最佳应用并行参数，同时可以帮助用户确定最佳的计算资源使用量，使应用可以高效率地扩展到大规模的并行计算。最后，本文将该优化方法与计算集群作业调度系统融合，应用于用户提交的真实 VASP 计算作业中。统计结果表明，本方案显著提升了作业运行速度与超算资源的使用效率，因此具有很好的工程应用前景。