显存使用效率预测训练数据

本数据集包含数千条TPU性能监控数据，经清洗及特征工程，衍生出热密度、延迟乘积等特征，以显存效率作为回归预测目标。数据按8:1:1划分为训练集、验证集和测试集，可直接用于监督学习模型训练。对外部企业而言，本数据可用于训练显存效率预测模型，帮助企业在有限的显存容量下最大化吞吐量，优化模型部署时的显存分配策略，减少显存浪费，降低推理成本。此外，本数据集可为机器学习模型提供高质量训练数据，用于训练显存优化模型、资源利用率提升模型等，具有重要的行业应用价值。本数据集具有独立性：通过自主设计因变量计算规则及衍生特征，独立抽取、清洗、重索引。必要性：原始数据中显存使用与吞吐量关系复杂，直接使用难以建模；本数据集构造出显存效率这一综合指标，是TPU显存优化训练任务的基础。1.加工前的数据说明：原始数据为TPU推理任务性能监控日志，以表格形式存储，每行代表一个采样时刻，按时间顺序编号。总样本量达数千行，所有字段均为数值型且无缺失值。原始数据包含TPU利用率、显存使用、温度、功率、首token延迟、每token延迟、吞吐量、请求排队长度、显存带宽利用率共9个字段。 处理规则：首先，对数据进行质量检查，剔除功率为负等明显错误记录，并剔除所有字段完全相同的重复记录。接着，基于原始字段计算衍生特征：热密度等于功率除以温度，延迟乘积等于首token延迟乘以每token延迟。因变量为显存效率，等于吞吐量除以显存使用。自变量包括除吞吐量和显存使用以外的所有原始字段以及热密度和延迟乘积。之后，按原始时间顺序重新赋予连续编号。最后，将处理后的全部数据按8:1:1比例划分为训练集、验证集和测试集。基于随机森林回归算法构建显存效率预测模型，以7个自变量为输入，显存效率为输出。通过网格搜索优化超参数，特征重要性分析表明TPU利用率、每token延迟和显存带宽利用率是影响显存效率的关键因素。模型在测试集上达到良好的预测精度，验证了本数据集的有效性。 数据内容描述：最终产出数据集包含7个自变量，1个因变量。样本覆盖了不同显存使用效率的典型运行状态。该数据集结构清晰、指标完整，可直接用于训练显存使用效率预测模型。

搜集汇总

背景与挑战

背景概述

本数据集包含数千条TPU性能监控数据，经清洗与特征工程，衍生出热密度、延迟乘积等特征，以显存效率为回归预测目标，并按8:1:1划分为训练集、验证集和测试集。数据可直接用于训练显存效率预测模型，助力企业在有限显存下优化分配策略、降低推理成本。该数据集结构清晰、指标完整，具备独立性与必要性，为显存优化及资源利用率提升等机器学习任务提供高质量训练基础。