数量质量概述

数据质量支持对常见的离线数据源（包括EDAP数据湖、Hive、Doris、Mysql、Oracle、SqlServer等）进行质量校验，从数据的完整性、唯一性、有效性、准确性、一致性、及时性六大维度进行质量监控，提供从质量规则制定、质量作业创建、重大问题告警、问题分析整改的全流程能力。内置45个质量规则，支持通过规则模板、自定义SQL模板快速创建质量任务，支持将质量任务与作业组进行关联调度，及时产生告警和阻塞链路，避免问题数据污染扩散。从多维度质量分析报表和质量绩效评分，提供作业实例查询、异常数据查看功能，帮助您迅速定位质量问题，完成质量管理闭环。

功能介绍

数据质量各个功能模块介绍如下：

名称	描述
质量总览	数据质量总览页面为您展示数据质量全局配置和告警统计情况。包括： 支持的所有数据源的表级别规则设置率。 按规则维度分类的质量规则异常占比。 按告警等级分类的历史告警趋势图。
规则引擎	数据质量支持自定义规则模板库，并对自定义规则进行统一管理。 也可以查看系统内置规则模板详情。
质量作业	数据质量支持按库表配置质量监控规则。
运维管理	在运维管理页面您可以通过库表查看历史校验记录和校验结果详情。
质量报告	数据质量报告页面为您展示库表的规则告警和评分情况。包括： 所选日期的主题/源连接、库得分。 所选日期范围的主题/源连接、库历史得分趋势图。 所选日期的主题/源连接下库得分或库下表得分详情。
配置管理	数据质量配置管理页面您可以对异常数据存储路径进行配置。

名词解释

规则模板

数据质量的数据校验方法基于规则模板，规则模板定义了从特定维度和粒度来校验数据是否符合预期。

维度

为从不同角度评估质量问题，将规则模板分为六大维度，即完整性、唯一性、有效性、准确性、一致性、及时性。

粒度

从数据表角度看，将规则模板划分为三大粒度，即表级、字段级、跨字段级。

质量作业

数据质量的具体执行依赖质量作业配置，质量作业对数据表按规则粒度定义规则模板和触发告警条件。

告警

对于给定数据和对应规则模板，如果数据结果不符合规则模板预期，则触发告警，分为L1提示、L2警告、L3严重三级。

角色、职责与权限

数据质量管理流程：

角色	职责描述	功能权限
数据管理员	负责根据业务方需求、数据标准要求，进行数据质量稽核总体设计。 负责制定数据质量评价体系，定期开展数据质量考核，对未达标数据进行督办整改。	查看质量总览； 创建并管理质量规则； 拥有平台全部数据权限，可对所有数据表创建质量任务，并查看作业运行实例； 查看并下载质量报告等。
数据开发人员	根据数据质量需求，设计质量校验规则，配置数据稽核任务，并对相关数据质量问题进行处理。	查看数据总览； 创建并管理质量规则； 根据数据管理员授权，对有权限的数据表创建质量任务，并查看作业运行实例； 查看并下载质量报告等。