工业数据ETL处理数据

在“数据获取与形式化统一描述”阶段，经由ETL（抽取、转换、加载）工具处理后的清洗日志、转换规则记录及标准化后的数据。通过部署在云边端架构中的前置数据库与数据预处理模块自动生成和记录。例如对数据库中的md_material_origin数据表，表中包含字段id、material_code、material_name、product_group、material_category、material_group、charge_unit、status、create_by、create_time、update_by、update_time、remark，经由数据预处理模块进行数据抽取、转换（执行去除重复值、合并相似项、过滤空值等操作）、加载处理后得到的数据存储至md_material表中。