数据质量规则数据集

数据采集：从企业内各信息系统、数据库中定期（根据cycle字段，如日采集）采集数据，涵盖不同业务场景下产生的数据，包括但不限于交易数据、客户信息数据等。
数据处理：根据rule_type和rule_def等字段所定义的规则类型和具体规则，对采集到的数据进行检查。例如对于非空检查规则，遍历数据中的相应字段，判断是否存在空值；对于数值比较规则，按照定义的比较条件对数值型数据进行比较。统计数据中符合规则和不符合规则的记录数量、比例等信息，并结合数据采集时间（如create_date字段）形成数据质量规则执行结果数据集。
数据应用：企业的数据管理部门、业务部门和审计部门等根据数据质量规则执行结果数据集，采取相应措施。数据管理部门持续优化数据质量规则；业务部门针对数据问题进行整改，优化业务流程；审计部门依据结果进行合规审计，从而实现企业数据从采集、处理到应用全过程的数据质量管控和业务流程优化。

搜集汇总

背景与挑战

背景概述

数据质量规则数据集由亚信科技(中国)有限公司自行产生，包含18条数据，每周更新。该数据集主要用于企业级数据质量标准的制定、评估体系的建立以及数据质量提升项目的推动，通过定义和执行数据质量规则，实现企业数据从采集、处理到应用全过程的数据质量管控和业务流程优化。