数据标准
EDAP支持在数据建模前规划制定企业数据标准,包括基础数据标准和代码数据标准两类,提供灵活可配置的向导模式,以及标准的批量导入导出,同时提供数据标准的发布、废弃、审核、删除、修订的全生命周期管理能力。用户可在后续的数据建模过程中对数据标准进行引用,保障后续开发过程中数据口径的一致性,从源头上避免数据质量问题的产生。
- 数据标准:数据标准是和业务相关的、用于描述企业层面需共同遵守的数据含义和业务规则。通过数据标准,可以指定其相关的字段类型、取值范围、度量单位等内容。在业务数据系统中, 不同表的多个字段可以与同一个数据标准进行关联,从而约束它们遵守相同的规范。
- 公共代码:公共代码是数据标准的取值范围,在公共代码中可设置某一数据标准可选择的数据的内容以及范围。例如性别数据标准的公共代码代码内容应该为男或女。
应用场景
角色、职责与权限
角色 | 职责 | 权限说明 |
---|---|---|
系统管理员 | 负责数据标准发布、废弃的审核 | ·数据标准审核 |
数据管理员 | 负责数据标准的定义、发布、管理 | ·数据标准新建 ·数据标准发布、废弃、修订、删除 |
普通用户 | 根据已发布的数据标准,进行数据标准落标引用 | 数据标准引用 |
目录管理
数据标准与公共代码均需要在创建在指定的目录下,两者的目录功能相同,但数据彼此独立。
默认情况下,只有「全部」一个根目录,该目录下不允许创建数据标准/公共代码。 在创建数据标准/公共代码前,首先需要新建子目录。对于子目录来说,还可以创建下级子目录。
注意:
- 目录的名称具有局部唯一性,即同一个父目录下不能有名称相同的子目录
- 目录最多不能超过 5 层
新建目录
单击目录侧边栏上方的添加按钮,即可新建目录。
表一 目录参数说明
参数 | 描述 |
---|---|
目录名称 | 必填。目录的名称,仅支持中文、英文、数字、下划线、中划线,长度不能超过64个字符 |
目录路径 | 必填。目录所属的路径,层级不能超过5层 |
重命名目录
右键点击指定的目录,可以对目录进行重命名。
删除目录
右键点击指定的目录,可以对目录进行删除操作。只有当目录为空时,目录才允许删除,否则,删除选项置灰。
目录为空指的是该目录下即没有数据,也没有子目录。
数据标准管理
新建数据标准
- 进入数据标准模块,在上方的标签页中选择标准管理,选中目录后,即可在该目录下创建数据标准(选中 “全部” 根目录时除外,该目录下不允许创建数据标准,此时添加标准按钮置灰。
- 在编辑页面中,配置相关参数,参数说明如表二。
表二 数据标准参数说明(*表示必填)
参数 | 描述 | |
---|---|---|
基础信息 | *中文名称 | 标准中文名称,支持中文、英文、数字、特殊字符等,长度不能超过128个字符 |
*英文名称 | 标准英文名称,支持英文、数字、下划线、中划线,长度不能超过128个字符 | |
*标准编码 | 标准英文编码,支持英文、数字、下划线、中划线,长度不能超过128个字符 | |
技术属性 | *数据类型 | 下拉选择:TINY、SMALLINT、VARCHAR、CHAR、ARRAY、MAP、STRING、INT、BIGINT、DOUBLE、DECIMAL、FLOAT、BOOLEAN、BYTES、DATE、TIMESTAMP 选中DECIMAL时可以配置长度和精度 |
数据长度 | 可以选择固定值或范围,输入值为正整数 | |
允许为空 | 是否允许为空 | |
业务属性 | 是否引用码表 | 是否引用公共代码,如果是,则可以下拉选择引用的公共代码 |
值域范围 | 数据标准的取值范围,取值为一个区间,可以选择是开区间或者闭区间,左值或右值如果为空,则表示负无穷或正无穷 | |
业务定义 | 支持中文、英文、数字、常见的特殊字符等,长度不能超过500个字符 | |
业务规则 | 支持中文、英文、数字、常见的特殊字符等,长度不能超过500个字符 | |
引用文档 | 支持中文、英文、数字、常见的特殊字符等,长度不能超过500个字符 | |
描述 | 支持中文、英文、数字、特殊字符等,长度不能超过500个字符 | |
管理属性 | 责任人 | 数据标准的责任人,下拉选择用户 |
责任部门 | 数据标准的责任部门,支持中文、英文、数字、特殊字符等,长度不能超过64个字符 | |
自定义属性 | 自定义属性 | 用户最多可填写三个自定义属性,每个自定义属性包括属性名称和内容,支持中文、英文、数字、特殊字符等,长度不能超过64个字符 |
查看数据标准详情
- 单击标准中文名称,可以跳转到标准详情页面。
- 标准详情页面展示包括标准的基本信息、引用记录、发布历史、审核历史等数据。
编辑数据标准
- 只有处于草稿、已驳回和已发布状态的数据标准,才支持编辑操作。
- 对处于草稿的数据标准,点击编辑按钮,会跳转到编辑页面,修改数据标准的属性之后点击提交,即可完成编辑,编辑后的数据标准仍然为草稿状态。
- 对处于已驳回的数据标准,点击编辑按钮,会跳转到编辑页面,修改数据标准的属性之后点击提交,即可完成编辑,编辑后的数据标准变化为草稿状态。
- 对处于「已发布」状态的数据标准进行编辑,见修订。
删除数据标准
- 只有处于「草稿」和「已驳回」状态的数据标准,才支持删除操作。
- 对处于「草稿」和「已驳回」状态的数据标准,单击删除按钮,可以对数据标准进行删除。
说明:删除数据标准时,该标准的发布记录和审核记录将会同步删除。
导入/导出数据标准
将鼠标悬浮在主题域右侧的「...」处,即可弹出数据指标的导入/导出菜单,将会根据所选标签页决定导入/导出的数据指标类型。
- 单击导入指标,展示导入指标的功能弹窗。
- 单击下载导入模版,可以下载数据指标导入的 Excel 模版,不同类型的数据指标的导入模版也不同。
- 按照模版的格式,填写导入的原子指标数据,将编辑好的 Excel 文件上传,单击点击选择文件,选择已经填写好的表格文件,即可进行导入,导入完成后,页面会展示导入结果。
- 指标导出:单击指标导出,可以导出指定主题下的所有数据指标。导出的数据指标为 Excel 格式。
公共代码管理
新建公共代码
- 进入「数据标准」模块,在上方的标签页中选择「公共代码」,选中目录后,即可在该目录下创建公共代码(选中 “全部” 根目录时除外,该目录下不允许创建数据标准,此时「添加代码」按钮置灰):
- 在编辑页面中,配置如下内容。
表三 公共代码参数说明(*表示必填)
参数 | 描述 | |
---|---|---|
基本信息 | *代码中文名称 | 支持中文、英文、数字、特殊字符等,长度不能超过128个字符。 |
*代码英文名称 | 支持英文、数字、下划线、中划线,长度不能超过128个字符。 | |
*代码编码 | 仅支持英文、数字、下划线、中划线,长度不能超过128个字符。 | |
描述 | 支持中文、英文、数字、特殊字符等,长度不能超过500个字符。 | |
代码表配置 | *字段名称 | 代码字段的名称,以英文开头,支持英文、数字、下划线,长度不能超过128个字符。 |
*字段中文名称 | 代码字段的中文名称,支持中文、英文、数字、中划线、下划线,长度不能超过128个字符。 | |
*字段类型 | 代码字段的数据类型,下拉选择:TINY、SMALLINT、VARCHAR、CHAR、ARRAY、MAP、STRING、INT、BIGINT、DOUBLE、DECIMAL、FLOAT、BOOLEAN、BYTES、DATE、TIMESTAMP。 | |
字段描述 | 代码字段的描述信息,支持中文、英文、数字、特殊字符等,长度不能超过500个字符。 |
填写数值
- 创建公共代码之后,点击公共代码右侧操作栏的「填写数值」按钮,可以对公共代码的数值进行编辑。填写好数值之后,点击确定,就可以保存公共代码的数值。
- 如果想更新数值,只需再次点击「填写数值」,对其中的数据进行编辑,再次点击确定,就可以更新公共代码的数值。
查看公共代码详情
- 单击代码中文名称,可以跳转到代码详情页面。
- 代码详情页面展示包括公共代码的基本信息、代码表字段、引用记录、发布历史、审核历史等数据。
编辑公共代码
- 只有处于「草稿」、「已驳回」和「已发布」状态的公共代码,才支持编辑操作。
- 对处于「草稿」的公共代码,点击「编辑」按钮,会跳转到编辑页面,修改公共代码的属性之后点击「提交」,即可完成编辑,编辑后的公共代码仍然为「草稿」状态。
- 对处于「已驳回」的公共代码,点击「编辑」按钮,会跳转到编辑页面,修改公共代码的属性之后点击「提交」,即可完成编辑,编辑后的公共代码变化为「草稿」状态。
- 对处于「已发布」状态的公共代码进行编辑,见「修订」。
删除公共代码
只有处于「草稿」和「已驳回」状态的公共代码,才支持删除操作。
对处于「草稿」和「已驳回」状态的公共代码,点击「删除」按钮,可以对公共代码进行删除。
说明:删除公共代码时,该公共代码的发布记录和审核记录将会同步删除。
导入/导出公共代码
将鼠标悬浮在主题域右侧的「...」处,即可弹出公共代码的导入/导出菜单。
- 单击导入代码,展示导入代码的功能弹窗。
- 单击下载导入模版,可以下载公共代码导入的 Excel 模版,不同类型公共代码的导入模版也不同。
- 按照模版的格式,填写导入的公共代码数据,将编辑好的 Excel 文件上传,单击点击选择文件,选择已经填写好的表格文件,即可进行导入,导入完成后,页面会展示导入结果。
- 代码导出:单击代码导出,可以导出指定主题下的所有公共代码。导出的公共代码为 Excel 格式。
状态管理
生命周期
数据标准/公共代码的生命周期包括以下状态:草稿、待发布、已发布、已驳回、待废弃、已废弃。通过发布、修订和废弃这三种操作,可以修改它们的状态。
各个状态的流转方式如下:
表四 操作说明
操作项名称 | 说明 |
---|---|
发布 | 新建的数据标准/公共代码处于草稿状态,需要发布之后才可以被正式使用。在右侧的操作栏点击「发布」按钮,即可进行发布操作。点击「发布」之后,该数据标准的状态变化为待发布。 另外在标准审核页面,会出现一条待审核的发布申请,具有“标准审核”权限的用户可以对该条申请进行审核,审核操作见“审核”小节。 如果审核通过,则该标准的状态变更为已发布,如果审核不通过,则该标准的状态变为已驳回,此时,可以根据审核意见,对标准进行修改之后再次提交发布申请。 |
修订 | 对于已发布的数据标准/公共代码,点击右侧操作栏中的「编辑」按钮,可以对其进行修订操作。此时会跳转到数据标准的编辑页面,对数据标准的属性进行修改之后,点击提交,将会创建一个新的子版本。此时,在数据标准的左侧会出现一个可以点击的下三角按钮。 点击该按钮,弹出该数据标准的子版本,可以对该子版本进行发布、编辑、删除操作,点击「发布」按钮,则会创建一个修订申请,由数据管理员对该申请进行审核(见“审核”小节)。如果审核通过,则该子版本将会替代原标准,成为新的数据标准;如果审核不通过,则该子版本的状态变更为已驳回,此时可对子版本进行编辑后再次发布,或者进行删除。 |
废弃 | 对于已发布的数据标准/公共代码,如果不再使用,则可以进行废弃。点击右侧操作栏中的「废弃」按钮,可以对标准进行废弃操作。 点击「废弃」按钮之后,此时数据标准的状态变更为待废弃。 另外在标准审核页面,会出现一条待审核的发布申请,具有“标准审核”权限的用户可以对该条申请进行审核,审核操作见“审核”小节。 如果审核通过,则该标准的状态变更为已废弃,如果审核不通过,则该标准的状态重新变为已发布。 |
数据落标检查
设置落标规则
- 在数据架构>数据标准>标准管理页面,单击操作列的更多按钮,在展开的选项中单击设置落标规则项,进入设置界面。
或者点击任一标准中文名称的蓝字按钮,进入标准详情页,单击右上角“设置落标规则”按钮,进入设置界面。
- 在“设置落标规则”操作界面,可查看选中标准对应的标准信息、自动落标规则以及手动落标规则。
若在标准中配置了以下属性,则会自动生成对应的落标规则。
表五 规则说明
标准属性 | 质量规则 | 规则类型 | |
---|---|---|---|
技术属性 | 数据类型 | 数据类型校验 | 元数据校验 |
允许为空 | 字段空值 | 完整性 | |
业务属性 | 引用码表 | 枚举值校验 | 准确性 |
值域范围 | 值域范围校验 | 准确性 |
可在页面最下方勾选是否要自动创建落标任务。
- 单击“手动落标规则”板块中的“+新增落标规则”,可在弹出的新增弹窗页中进行新增操作。
无论是自动生成的“自动落标规则”还是手动新增的“手动落标规则”,初始状态都是“已停用”,单击打开开关按钮可修改状态至“已启用”。
- 在“新增质量规则”的弹窗页中可选择配置模式,默认关闭高级模式,单击打开开关可进入高级模式的新增配置页。
在默认的配置模式下,选择“规则模板名称”和“告警级别”,选填“关联描述”。
某些规则模版需要填写相应信息以完成完整的质量规则新增配置。
- 若打开按钮进入高级模式,则有更多规则模板可供选择。根据选择规则模板的不同,规则配置项也会有对应差别。
告警条件中的条件规则可参照样例填写。 完成所有规则配置项的填写或选择后,选填“关联描述”,单击“确认”按钮,完成质量规则新增。
- 完成所有规则新增后可在“设置落标规则”界面确认是否启用,单击操作页蓝字按钮“编辑”、“删除”完成对应操作。单击页面最下方“确认”按钮,完成落标规则设置。
引用数据标准
- 在「元数据」中新建表,在字段定义中可以关联数据标准。
- 单击「关联标准」的 icon 后,在弹出的页面中会展示所有状态为已发布和待废弃的数据标准。
- 关联数据标准后,会对字段定义的类型、是否允许为空、密级等属性进行校验,如果与数据标准定义的不一致,则会进行提示,且此时元数据表无法进行提交。
- 将字段定义的属性修改为与标准定义一致,直到没有校验提示信息,才可以进行提交。
- 在数据标准的详情页面,可以看到当前引用该标准的元数据表及字段。
执行落标任务
- 在“数据标准”的“设置落标规则”页面最下方勾选“自动创建落标任务”功能后,即可自动创建落标任务并进行落标检查。
- 进入数据治理>数据质量>质量作业,也可在页面内找到作业类型为落标检查任务的相应作业。
- 单击我的项目>作业组开发,进入离线计算页面,新建或选中任一任务组,在数据治理中拖拽出一个“Quality”节点。点击节点,在右侧打开的“节点配置”页面的“质量作业”项下拉选框,选择落标任务从而完成其执行操作,完成后点击“保持”和“发布”按钮。
查看落标检查报告
- 单击数据架构>数据标准>落标报告,查看落标任务的统计数据总览。
- 找到“评估标准”板块,单击操作列查看结果,可跳转至标准对应的详情界面,查看更具体的结果概览和字段详情信息。