能耗数据加工质量监控分析数据集合

本数据集围绕源目标数据比对、ETL 各环节计数统计、字段格式校验、计算结果复核构建整套技术处理规则。源目标一致性比对算法，以能耗归集编号作为关联键，将源系统原始字段值与 ETL 加工落地后的目标字段值逐字段比对，关键字段出现偏差即标记源目标不一致异常。ETL 环节计数统计规则，按作业批次统计抽取总记录数、业务过滤丢弃数、技术异常丢弃数、成功加载记录数，计算批次抽取成功率与加载成功率。时间字段格式校验规则，对抄表日期文本、能耗归集日期文本、提交时间做格式解析校验，识别非标准时间字符串、非法时间、时区转换错位样本，标记格式解析失败记录。指标计算复核算法，读取源端本次读数、上期读数、倍率原始值，二次复算水电消耗（吨）|（度），将复算结果和 ETL 输出结果对比，识别脚本计算逻辑 BUG。异常分类标记规则，区分业务过滤、接口异常、格式错误、计算错误四类异常类型，防止业务正常过滤样本误报为技术故障。全部处理规则参考 GB/T 390652020《智能制造 制造运行管理 术语》，同时遵循数仓 ETL 数据质量通用技术规范，适配能耗业务源接口的数据输出特征完成阈值调优。

搜集汇总

背景与挑战

背景概述

本数据集是一套面向能耗数据ETL加工质量监控的技术规则集合，包含源目标数据比对、ETL环节计数统计、时间字段格式校验、指标计算复核及异常分类标记算法。其数据规模为2054KB，按天更新，主要应用于ETL流水线运行状态监控、源系统接口质量评估、数据加工故障根因排查及ETL版本迭代回归校验等场景。