数据质量功能支持按数据表配置质量监控规则，可实时核查表数据合规性，自动拦截异常任务、阻断脏数据向下游流转，确保产出数据符合预期标准，整体流程如下图。

添加监控对象

1. 登录百度智能云控制台，选择产品百度胜算， 在百度胜算首页侧边导航选择数据连接与集成>数据质量>质量规则。

2. 支持工作台、元数据两种数据来源，默认选中工作台。

   • 数据来源选择工作台时，依次选择项目>结构化数据集/媒体集，单击添加监控对象。支持按名称筛选项目。
   • 数据来源选择元数据时，依次选择数据目录>数据模式>数据表/数据卷，单击添加监控对象。支持按名称筛选数据目录。
3. 下拉选择监控对象结构化数据集/媒体集/数据表/数据卷后确定，添加监控对象完成。

选择数据表、数据卷、结构化数据集或媒体集时，仅可选择有管理权限的对象。

若当前对象已被添加至监控对象，可单击规则详情进入当前对象的规则管理页面。

规则管理

创建质量规则

1. 在结构化数据集/媒体集/数据表/数据卷页面单击监控对象名称进入详情，默认进入规则管理页面。
2. 单击列表上方创建质量规则按钮，填写相关配置项。注意：仅支持拥有结构化数据集/媒体集/数据表/数据卷管理权限的用户创建质量规则。

• 基础配置

配置项	说明
规则名称	输入规则名称，质量规则的唯一标识，长度限制 256 字符内。
规则模板	支持选择系统模版和自定义模版，可选范围为满足以下条件模版名称： 当前所有系统模版和自定义模板中当前用户有使用权限。 模板可用对象类型为当前监控对象的类型（数据表、数据卷、结构化数据集、媒体集）。
质量维度	根据所选规则模板自动填充对应的质量管控方向。
规则描述	输入规则的备注信息，长度限制 500 字符内。
监控作业	选择关联的监控任务（用于触发规则执行）；若暂无，可点击 “创建监控作业” 新增后刷新选择。

• 规则配置

配置项	说明
探查对象	根据规则模板粒度决定是否需要配置探查对象。 表级：显示当前对象（数据表或结构化数据集）名称。 字段/跨字段级：在下拉列表中选择字段，默认为当前数据表或结构化数据集第一个字段。 文件夹级：支持输入文件夹路径或从当前数据卷或媒体集层级选择至文件夹，默认路径为这个数据卷/媒体集的路径。 文件级：支持输入文件路径或从当前数据卷或媒体集层级选择至文件，默认路径为这个数据卷/媒体集的路径。
规则表达式	在此查看规则模版的表达式。
输入值	如果所选规则有自定义输入值，则需要根据提示填入对应的值。系统内置规则模板包括正则表达式、取值范围、枚举值等需要输入值。自定义规则则根据实际逻辑填入。
其他字段参数	根据选择的模板，拉出涉及的表、字段参数，让用户选择； 来源：在下拉列表中选择，可选范围为元数据、工作台，默认为元数据。 表名称 来源为元数据：级联依次选择数据目录/数据模式/数据表，可选范围根据用户权限展示。 来源为工作台：则级联依次选择至结构化数据集，可选范围根据用户权限展示。 字段名称：在下拉列表中选择对应数据表或结构化数据集的字段。
数据过滤	仅规则模板的可用对象为数据表、结构化数据集时需配置，可选择打开或关闭数据过滤，打开时可以设置校验表的过滤条件，可以配置分区过滤或普通数据过滤，过滤条件会直接追加到校验SQL中。支持使用系统参数${logicTime(format,[offset])}，如${logicTime(yyyy-MM-dd HH:mm:ss,-1d)}表示调度时间前一天。

• 告警配置

配置项	说明
告警条件	根据规则对应输出提示配置三级（L1 提示、L2 警告、L3 严重）告警条件。规则语法：(使用 ${参数名} 表示参数的值，支持比较运算符：<、<=、>、>=、!=，支持逻辑运算符：and、or。 例如：${COUNT} > 5 and ${CONSISTENT_RATE} < 0.9)。
开启任务阻塞	如果开启任务阻塞，当该规则在工作流运行中产生严重告警时，会将对应任务节点置为失败，以阻塞下游节点运行。

• 异常数据配置

如果系统内置规则支持异常数据保存输出，则显示该配置项。

配置项	说明
生成异常数据	开启或关闭生成异常数据按钮，
异常数据量	存储的异常数据条数，可选全部或填写指定条数。
存储位置	输入异常数据存储路径，支持将异常数据写入到CSV文件，文件路径示例：存储位置/运行记录ID/规则名称.csv，请确保选择的存储位置有写入权限。
异常字段	仅规则模板的可用对象为数据表时需配置该项，配置异常数据输出字段，若未配置则会输出异常表的所有字段。

• 监控作业配置

配置项	说明
监控作业	选择关联的监控任务（监控作业可承载一组质量规则的运行配置，用于批量执行规则，并支持在工作流中进行调度运行）；若暂无，可点击 “创建监控作业” 新增后刷新选择。

查看规则管理列表

创建成功的质量规则以列表形式展示，列表支持按照规则名称或对象名称进行筛选。
若在数据标准模块中开启“自动创建落标任务”功能并完成标准关联，系统将根据落标规则自动生成对应质量规则。

表2 质量规则列表项说明

列表项	说明
规则名称	质量监控规则的唯一标识。
对象类型/名称	规则对应的监控对象（表 / 字段）及具体名称。
启用状态	可选择开启或关闭当前状态，关闭后的质量规则不可运行。
质量维度	规则对应的质量管控方向。
规则模板	规则基于的预设模板类型。
监控作业	关联的监控任务。可单击立即配置按钮，配置监控作业。
操作	详情：单击详情按钮或在规则列表单击规则名称可查看规则详情，详细可查看规则的基本配置、规则配置、告警配置、异常数据配置和监控作业配置。 运行：单击后选择业务时间，配置Spark计算资源规格后，单击开始运行该规则，数据表、数据卷使用默认资源组下的通用资源队列，结构化数据集、媒体集使用其所在项目绑定的资源组下的通用资源队列。 编辑：对规则进行重新编辑。 删除：删除该规则。注意：规则删除不可恢复，请谨慎操作。数据标准模块自动创建的规则不支持删除。仅支持在数据标准页面进行删除操作。 复制：复制当前规则，可进行编辑后在列表生成一个新的规则。 告警订阅：单击告警订阅按钮，进入告警订阅配置页。点击新增告警策略按钮，在模板处下拉选择告警模版（可点击新建模版跳转至 BCM 进行配置，详见报警通知模板），相关用户和方式将根据所选模版进行展示，告警策略可选提示、警告或严重，配置完成后保存。

• 数据标准侧决定的配置信息，质量侧不可编辑。例如启用状态、规则名称、质量维度、规则模版、描述、探查对象、告警条件。
• 可编辑项：数据过滤（初始创建时关闭状态）、开启任务阻塞（初始创建时关闭状态）、异常数据配置（初始创建时关闭状态）、监控作业配置（初始创建时为空）。
• 数据标准侧配置的落标规则修改，将同步至质量规则处，包括规则的新增、删除、编辑。

批量导入导出质量规则

当需要为多张数据表、多个数据卷配置同类质量规则，或者需要将一套已验证的规则配置从测试环境迁移到生产环境时，可以通过 Excel 文件批量导入导出质量规则，无需逐个监控对象手动创建。

在数据对象列表页依次单击...下拉按钮，可选择以下操作：

• 批量导入质量规则
• 批量导出质量规则
• 上次导入记录

批量导入质量规则

1. 单击批量导入质量规则，进入导入对话框。
2. 单击下载导入模板，获取标准 Excel 模板，按模板要求逐行填写监控对象、规则名称、规则模板、探查对象、告警条件等信息。
3. 将填写好的文件拖拽或单击上传至弹窗中的上传区域。仅支持 Excel 表格文件（.xlsx/.xls），单文件大小不超过 10MB。
4. 单击导入后自动开始导入任务，系统按行解析 Excel 并逐行创建质量规则。
5. 导入任务开始后，可到上次导入记录中查看导入进度和逐行结果。

说明：批量导入不会更新已存在的同名质量规则，如需修改已有规则配置，请到规则详情页手动编辑。

批量导出质量规则

1. 单击批量导出质量规则，进入导出对话框。

2. 选择导出范围，支持元数据或工作台，默认选中元数据：

   • 导出范围为元数据时，需要在层级选择器中选择到具体的数据模式，数据目录层级不可直接选择。
   • 导出范围为工作台时，层级第一层为项目、我的、共享、用户；其中项目、用户层级不可直接选择，需要选择到下一层；我的、共享层级本身即可选择。
3. 系统仅导出当前用户拥有读取、修改权限的监控对象对应的质量规则。
4. 单击确定后自动下载 Excel 文件，文件字段结构与导入模板一致，可直接用于重新导入。

上次导入记录

1. 单击上次导入记录，在导入记录对话框查看最近一次导入任务的处理结果。系统仅保留最近一次导入记录，新的导入会覆盖旧记录。
2. 弹窗顶部展示最近一次导入的导入人、导入时间和任务状态（成功、运行中、失败）。仅当任务状态为成功时，才会展示以下结果列表；

表3 上次导入记录列表项说明

列表项	说明
行号	该条记录在 Excel 中的原始行号。
监控对象	监控对象的来源信息。来源为元数据时展示为 数据目录.数据模式.数据表(数据卷)；来源为工作台时展示路径和名称，如 /项目/xxx/结构化数据集。
规则名称	导入数据中填写的规则名称。
规则模板	该行规则所基于的模板名称。
导入结果	成功、失败或跳过。失败以红色展示，跳过以橙色展示。
备注	失败或跳过的具体原因，例如"监控对象不存在""规则模板无使用权限""已有同名质量规则，不再更新"。

监控作业

监控作业可承载一组质量规则的运行配置，用于批量执行规则，并支持在工作流中进行调度运行。

创建监控作业

1. 在数据表/数据卷页面单击监控对象名称进入详情，tab页选择监控作业。
2. 单击列表上方创建监控作业按钮，填写相关配置项。

表3 创建监控作业配置项说明

配置项	说明
作业名称	输入作业名称。监控作业的唯一标识，长度限制 256 字符内。
作业描述	输入作业描述。对该监控作业的备注说明，长度限制 500 字符内。
规则配置	展示可选的已配置质量规则列表，可选择需关联到当前监控作业的规则，列表包含规则名称、监控对象、启用状态、质量维度、规则模板等信息，支持搜索筛选规则。

查看监控作业列表

创建成功的监控作业以列表形式展示，支持按照作业名称进行筛选。

表4 监控作业列表项说明

列表项	说明
作业名称	监控作业的唯一标识。
已启用/总规则数	该作业关联的已启用规则数量 / 总规则数量。
创建人	创建该监控作业的用户。
创建时间	作业的创建时间。
修改人	作业的最后修改人。
修改时间	作业的最后对应时间。
操作	详情：在监控作业列表单击作业名称可查看作业详情，详细可查看作业的基本配置、规则配置。 运行：单击后选择业务时间，配置Spark计算资源规格后，点击开始运行该规则，规则运行使用默认资源组下的通用资源队列。 编辑：对作业进行重新编辑。 删除：删除当前作业。

运行记录

规则任务每运行一次会生成一条运行记录，以列表形式展示，可直观呈现质量监控任务的全生命周期信息。

查看运行记录列表

在数据表/数据卷页面单击监控对象名称进入详情，tab页选择运行记录。

表5 运行记录列表项说明

列表项	说明
运行记录ID	每条运行任务的唯一标识。
业务时间	该次运行对应的业务数据时间。
运行状态	任务的执行结果（运行中、成功、失败、终止中、已终止）。 运行中：有一个质量规则正在运行则显示运行中。 成功：全部规则运行完成，没有运行失败的质量规则。 失败：全部规则运行完成，存在运行失败的质量规则。 终止中：任务终止中。 已终止：终止完成。
提示/警告/严重规则数	不同级别质量问题的触发规则数量。
运行类型	任务的执行方式，单次执行、工作流单次执行和例行执行。
监控作业	关联的监控作业。
开始时间	任务执行的开始时间。
结束时间	任务执行的终止时间。
运行时长	任务执行的总耗时。
操作	对该次运行记录的管理操作。 详情：单击查看运行记录详情，详见下一小节。 终止：单击可结束任务运行，已运行完成的规则将不受影响，未完成的规则变为已终止。

运行记录详情

单击运行记录名称或操作列详情按钮，进入运行记录详情。通过切换tab页可选择查看结果详情或运行日志。

结果详情

运行结果详情以列表形式展示，支持按照规则名称进行筛选。同时可查看运行规则数，和不同级别质量问题的触发规则数量。

表6 结果详情列表

列表项	说明
规则名称	本次运行涉及的质量规则标识。
对象类型/名称	规则对应的监控目标（表 / 字段）及具体名称。
运行状态	该规则的执行结果（运行中/成功/失败/终止中/已终止）
告警等级	规则触发的质量问题级别（提醒/未告警/提示/警告/严重）
质量维度	规则对应的质量管控方向。
规则模板	规则基于的预设逻辑模板。
异常数据量	触发质量问题的数据条数。
异常数据存储位置	异常数据的存放路径。
开始时间	该规则的执行启动时间。
操作	单击详情按钮，可查看结果详情的详细信息，包括基本配置、告警条件、运行结果和异常数据预览。

运行日志

通过tab页切换可查看运行记录的运行日志，支持设置自动刷新间隔，同时可对日志进行下载和刷新。

质量报告

质量报告是数据质量监控结果的可视化汇总，根据每条规则当日最新运行状态和告警等级进行统计，整合了规则执行、异常统计、规则校验明细等信息，可直观呈现数据质量全貌。质量报告支持刷新和下载PDF到本地。

表质量通过率

当日运行成功的质量规则数中未告警的质量规则占比，同时支持查看各维度通过率。

异常规则数

异常规则数即当日最新告警等级为提示、严重、警告的规则数。

规则校验明细

记录每条规则当日最新运行状态和告警等级，按列表查看。支持通过规则名称或对象名称对列表进行筛选。