人工智能推理服务性能评估数据

可用于AI推理服务集群的智能调度系统，通过实时分析各服务实例的性能等级数据，自动将高负载请求优先分配给高效实例，并动态调整中低效实例的资源配置；可为云服务客户提供性能可视化看板，支持其按业务需求筛选不同性能等级的推理服务实例，优化AI应用部署方案；建立行业通用的AI服务性能评价体系，促进云计算服务商之间的性能数据对标与服务质量提升。一、加工前的数据说明 原始数据为分布式TPU集群在深度学习推理服务场景下产生的运营监测数据，包含12个特征字段：唯一标识编号、TPU利用率(%)、显存使用量(GiB)、TPU工作温度(℃)、TPU实时功率(W)、首token延迟(ms)、每token延迟(ms)、系统吞吐量(tokens/s)、请求队列长度、显存带宽利用率(%)、推理服务性能等级评分、推理服务性能等级。数据为非同一采集源、非时间序列的结构化监测记录，完整记录了硬件运行参数与推理服务质量指标。 二、处理规则 数据清洗：对原始数据进行去重、剔除超出物理阈值的异常值，并对缺失值采用剔除方式处理，确保数据完整性与有效性。 评分算法：基于“首token延迟”（反向指标，权重0.3）、“每token延迟”（反向指标，权重0.3）与“吞吐量”（正向指标，权重0.4），采用极值归一化方法计算综合评分。公式为： 评分=0.3×(1-首token延迟归一化值)+0.3×(1-每token延迟归一化值)+0.4×吞吐量归一化值 归一化基于全数据集的最大最小值进行，最终评分映射至0~100区间。 等级划分： 高性能：评分≥80；中性能：50≤评分<80；低性能：评分<50。 三、数据内容描述 清洗后的数据集共1001条记录，每条记录包含12个字段，涵盖TPU硬件运行指标（利用率、温度、功率等）及推理服务性能参数（延迟、吞吐量等）。核心统计特征如下：TPU利用率均值62.3%（标准差±18.7%），显存使用范围12~48GiB，首token延迟中位数147ms。标注字段“推理服务性能等级”中，高性能占比68.2%。该数据集适用于AI推理服务性能优化、资源调度策略验证、云计算平台负载均衡与TPU集群管理等场景。

搜集汇总

背景与挑战

背景概述

该数据集包含1001条分布式TPU集群的运营监测记录，涵盖TPU利用率、显存使用、温度、功率及首token延迟、吞吐量等12个硬件与性能指标，并通过加权评分算法将实例划分为高、中、低三个性能等级。数据适用于AI推理服务集群的智能调度、性能可视化看板构建以及行业性能评价体系的建立，支持云服务商优化资源配置与服务质量提升。