水质点检原始采集与质量校验分析数据集合

本数据集围绕原始采集数据处理、质量校验构建技术规则。重复记录识别算法，采用唯一标识作为第一主键、流水号为辅助键，比对哈希值识别完全重复与局部重复上报记录。时序异常检测算法，基于检测时间、更新时间，识别时间回退、时间戳超前等异常，计算相邻记录时间间隔，标记采集断档点位。时序分区匹配规则，根据检测时间所属自然日、自然周，校验每日计数标识、每周计数标识赋值是否正确，不匹配则打上质量缺陷标记。数据分流过滤规则，依据筛选标识将原始记录分为原始采集集、业务有效集、待丢弃脏数据集，实现多分支数据流处理。采集计数统计算法，按水质监测点编号分组，统计周期内有效采集计数，对比理论应采集数量，计算采集完整率。整套技术规则参考 GB/T 390652020《智能制造 制造运行管理 术语》，适配工业现场时序采集类数据处理技术标准。

搜集汇总

背景与挑战

背景概述

该数据集由贵州飞龙雨实业集团有限公司提供，规模16353KB，按天更新，属于水生产和供应业。其核心是围绕原始采集数据处理和质量校验构建技术规则，涵盖重复记录识别、时序异常检测、时序分区匹配、数据分流过滤及采集计数统计等算法，参考GB/T 39065-2020标准。主要应用于点检采集链路运维、数据质量评测和ETL规则迭代等场景。