创建质量作业

1. 登录并进入百度智能云数据湖管理与分析EasyDAP。在左侧导航栏，单击数据治理>数据质量>质量作业，进入质量作业界面。
2. 从左侧各数据源类型中选择一个，并且选中一个数据库。单击新建质量作业进入创建质量作业页面。
3. 选择一个表，输入作业名称，规则配置添加对应质量规则配置，单击确认按钮完成创建。

表一 配置项说明

举例说明

表二 示例说明

调度设置

数据质量作业任务运行依赖离线作业组调度执行，需要在离线作业组开发中添加质量任务节点执行。

操作步骤：

1. 登录并进入百度智能云数据湖管理与分析EasyDAP。
2. 在左侧导航栏，单击数据加工>我的项目，查看项目列表。
3. 点击一个项目进入具体开发页面，单击离线开发-作业组开发，新建作业或者选择一个已有作业。选择数据质量-Quality节点拖入画布中。
4. 对于多节点任务或者质量任务需要阻塞下游执行，则串联多个节点。当质量任务开启阻塞并且发生L3严重告警时会阻塞下游执行。
5. 单击Quality节点，配置质量作业节点，需要选择计算资源，然后通过类型-主题/源连接-库-表-质量作业选择一个已经配置好的质量作业。
6. 根据实际情况（该表数据量大小、集群资源），可以修改计算引擎配置参数。包括Driver的cpu个数（默认1）和内存大小（默认1024M），Executor的cpu个数（默认1）、内存大小（默认1024M）和数量（默认1）。注意内存配置需要带上单位（M，G等）。
7. 关于计算引擎参数配置：

• 默认参数对于常见如单表数据10G以内，可以正常执行。
• 如果数据量级在100G，建议参数Driver的cpu个数1和内存大小4G，Executor的cpu个数2、内存大小8G和数量2。

• 对于多表关联规则，如系统内置字段一致性规则模板、自定义多表关联规则，可以适当增加资源。

  注意：配置示例仅供参照，如果出现如OOM问题，需根据实际情况调整。