Solution

解决方案

智能检测

关键流程:

  质量监管平台建设实践应用及价值体现,离不开管理流程、技术实现和组织人员的紧密结合,主要包含如下8大流程步骤:

  质量需求:发现数据问题;信息提报、收集需求;检核规则的需求等。

  提炼规则:梳理规则指标、确定有效指标、检核指标准确度和衡量标准。

  规则库构建:检核对象配置、调度配置、规则配置、检核范围确认、检核标准确定等。

  执行检核:调度配置、调度执行、检核代码。

  问题检核:检核问题展示、分类、质量分析、质量严重等级分类等。

  分析报告:数据质量报告、质量问题趋势分析,影响度分析,解决方案达成共识。

  落实处理:方案落实执行、跟踪管理、解决方案Review及标准化提炼。

  知识库体系形成:知识经验总结、标准方案沉淀、知识库体系建设。

  质量检核标准

  完整性:主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面;

  准确性:一个数据值与设定为准确的值之间的一致程度,或与可接受程度之间的差异;

  合理性:主要包括格式、类型、值域和业务规则的合理有效;

  一致性:系统之间的数据差异和相互矛盾的一致性,业务指标统一定义,数据逻辑加工结果一致性;

  及时性:数据仓库ETL、应用展现的及时和快速性,Jobs运行耗时、运行质量、依赖运行及时性。


    智慧检测模块

image.png



数据质量监管功能图

  数据质量功能模块设计的主要功能如上图所示,包括:监控对象管理、检核指标管理、数据质量过程监控、问题跟踪管理、推荐优化管理、知识库管理及系统管理等。其中过程监控包括离线数据监控、实时数据监控;问题跟踪处理由问题发现(支持自动检核、人工录入)、问题提报、任务推送、故障定级、故障处理、知识库沉淀等形成闭环流程。