2023 Alibaba GPU trace dataset

该数据集包含了默认追踪数据，这些数据来自阿里巴巴生产级别的GPU数据中心，在不受到GPU限制的情况下收集了8,152个任务。此外，数据集还包括了多种派生追踪数据，如多GPU、共享GPU和受限GPU追踪数据，这些数据在不同GPU资源分配场景下对默认追踪数据进行了修改。具体规模为8,152个任务，1,213个节点，6,212个GPU。该数据集的任务是针对GPU数据中心的调度。This dataset includes default tracing data collected from Alibaba's production-grade GPU data centers, with 8,152 tasks gathered under unrestricted GPU resource conditions. In addition, the dataset features multiple derived tracing datasets: multi-GPU, shared-GPU, and constrained-GPU tracing data, which are modified variants of the default tracing data tailored for different GPU resource allocation scenarios. The dataset has a total scale of 8,152 tasks, 1,213 computing nodes, and 6,212 GPUs. This dataset is intended for GPU data center scheduling-related research.

搜集汇总

背景与挑战

背景概述

该数据集实际上是关于GPU数据中心电源和碎片感知调度的研究项目，包含Kubernetes插件和实验脚本，而非阿里巴巴的GPU追踪数据。