基于数据流的去中心化资源分配和任务调度机制测试数据

面向1000万核级规模的HPC-AI应用构建并发任务调度系统，实现每秒亿级任务调度。本汇交数据集主要包括将HPC-AI框架部署到多个计算节点与多组不同个数的计算节点，记录任务调度程序与任务结果的正确性与1000万核级规模任务调度的吞吐率的日志数据形成的测试数据。为了保证数据的客观准确性，科学数据由北京航空航天大学软件测评实验室于2024年6月进行第三方测试时产生，测试之前对测试条件、测试环境等进行了严格的检查和测量，确保了测试的有效性和数据的准确性。

基于数据流的去中心化资源分配和任务调度机制测试包括跨节点的任务调度测试和大规模任务调度吞吐率测试。
跨节点的任务调度测试在广州超算-GPU节点上进行。数据的采集方法为将HPC-AI框架部署到多个计算节点；当所提交的计算任务CPU核数需求大于/小于计算节点的可用CPU核数时；计算任务正常提交执行或者调度转移至资源满足需求的其它节点后，执行任务，拟采集的数据为以日志方式记录的任务调度流程和执行结果。大规模任务调度吞吐率测试部署于东方超算-DCU节点，日志数据测试内容及采集数据：将HPC-AI框架分别部署于多组不同个数的计算节点，通过任务启动脚本程序向框架提交大规模的任务，拟采集的数据为任务调度吞吐量日志数据，以及千万核规模时的理论推导数据。其中N个DCU节点核心数=N*（64*4+32）=288*N；N≥348时，并行规模10万核；N≥34723时，并行规模1000万核。测试主要方法为提交任务并记录运行过程的输出信息并收集运行结果。