元数据 元存储 无权限 ✔️ ✘ 查看 ✘ ✘ 创建 ✔️ 被授权 编辑 ✘ ✘ 管理 ✘ ✘ 空间自定义角色 一级功能 二级功能 三级功能 权限分类 资源权限 权限范围 工作空间 无权限 ✘ ✘ 查看 ✔️ 被授权 编辑 ✔️ ✘ 管理 ✘ ✘ 元数据 元存储 无权限 ✔️ ✘ 查看 ✘ ✘ 创建 ✘ ✘ 编辑 ✘ ✘ 管理 ✘ ✘ 元存储管理员 一级功能 二级功能 三级功能 权限分类 资源权限
注意:如果有字段/任务使用了该脱敏规则,则不支持删除。 数据动态脱敏 单一脱敏规则 单击 数据治理>元数据管理 ,单击数据表名称,进入表详情页。 单击 添加脱敏规则 按钮,依次选择脱敏列、脱敏规则、脱敏后密级,脱敏规则如果没有可选项,单击前往创建按钮去创建。点击确定完成脱敏规则添加。
定时读取可配置 Cron 表达式; 读取速率限制 默认5000行/s 数据目的地设置 同步前,允许清空目标表 默认开启。开启后,写入目标表前进行清空。针对分区表,不论是否开启,对同一分区的重复写入,均会先清空分区数据再重写该分区 数据源变化设置 数据源删除正在同步的表 选择继续同步其他表或者暂停数据任务。
字符 选择表: 参数 输入规范 数据源类型 下拉选择,可选Doris/Greenplum/Clickhouse/ MySQL 数据源名称 下拉选择,与数据源管理中对应数据源类型的已有数据源目录保持一致 数据表名称 下拉选择,与选定数据源类型中的数据表名称保持一致 参数配置: 参数 输入规范 字段名称 -- 字段类型 -- 描述 -- 设为请求参数 默认不选 设为返回参数 默认不选 添加到排序字段
当【建表方式】选择“自动建表”时,数据集成会在目标端自动创建对应表,字段名称和类型默认与数据源端一致,页面中的“箭头”表示数据源和目的端表的字段映射关系。用户可根据需要更改目的端表名、字段名称、字段类型、默认值。 此外,用户可在目的表点击每个字段最右侧的删除符号将此字段删除,表示在数据集成过程中过滤此字段,不同步源端的此字段。
数据看板 新增门店数据
创建质量规则 根据字段标准规范,为数据表test_score添加如下质量规则: 字段 规范 质量规则 id 唯一性 字段唯一值 email 邮箱格式 邮箱校验 不允许为空 字段空值 score 值域范围在0-100之间 字段最小值、字段最大值 备注:以上质量规则均在系统规则模板中,可直接使用。 创建质量任务 进入“数据治理-数据质量”菜单,点击“新建质量作业”,对数据表进行监控配置。
内置规则列表 登录并进入千帆数据智能平台 DataBuilder,在左侧导航栏,选择 数据治理>数据质量 。 单击左侧导航规则管理进入规则模板管理页面,即可查看规则列表。可对规则进行编辑和删除。 编辑:单击对应规则操作栏的编辑按钮,进入规则编辑页面。如果规则已经被质量作业引用,则无法编辑。 删除:单击对应规则操作栏的删除按钮,即可删除。如果规则已经被质量作业引用,则无法删除。
字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 dbName string 是 源库库名 dbName tableName string 是 源库表名 tableName inconsistentType string 是 不一致数据类型,可选值:(1)INCONSISTENT:源库与目标库数据不一致(2)MISSING:源库存在, 目标库不存在(3)REDUNDANCY:源库不存在,
如果选择的是一个数据库,则显示当前数据库的所有表的得分详情。配置规则数是当天该库或表已有的所有规则总数。告警规则数和告警状态数量是仅当天的告警数据统计,不包含历史告警数量。 查看业务报告 登录并进入百度智能云千帆数据智能平台 DataBuilder。在左侧导航栏,单击 数据治理>数据质量>质量报告 。 在左侧目录中选中业务报告,从左侧各数据源类型中选择一个,可查看对应主题/源连接或库的评分。