数据标准 EDAP支持在数据建模前规划制定企业数据标准,包括基础数据标准和代码数据标准两类,提供灵活可配置的向导模式,以及标准的批量导入导出,同时提供数据标准的发布、废弃、审核、删除、修订的全生命周期管理能力。用户可在后续的数据建模过程中对数据标准进行引用,保障后续开发过程中数据口径的一致性,从源头上避免数据质量问题的产生。
数据同步 为了方便数据发布生成数据API,需要将数据湖中的数据进行导出,本示例通过可视化ETL作业,将数据从EDAP数据湖同步到RDS。 数据湖数据导出到RDS 1、进入项目“产品体验测试”,选择可视化作业,在画布中添加源端插件DataLakeSource、目标端插件DataBase。 2、点击插件进行属性配置,源端数据表为test_stu,目标端数据表为mysql_stu。
导入/导出数据指标 将鼠标悬浮在主题域右侧的「...」处,即可弹出数据指标的 导入/导出 菜单,将会根据所选标签页决定 导入/导出 的数据指标类型。 单击 导入指标 ,展示导入指标的功能弹窗。 单击 下载导入模版 ,可以下载数据指标导入的 Excel 模版,不同类型的数据指标的导入模版也不同。
数据质量 数据汇聚到平台后,需要对数据的完整性、唯一性、有效性、准确性、一致性、及时性进行探查,清洗脏数据,以确保数据的存储和共享的质量。
数据开发 新建项目 进入“数据加工-我的项目”菜单,创建项目“产品体验测试”,并为项目绑定计算资源。 数据开发 进入项目“产品体验测试”,创建一个脚本作业,脚本类型HiveSQL、SparkSQL均可。将1.1中的示例数据写入表test_stu,并点击执行。 作业运维 执行通过的作业,点击“发布”后将进入运维阶段,在“任务运维”中,可以对该作业进行调度配置、查询运行实例等。
映射表是指针对各类数据源系统通过建外表的形式建立的元数据表,用于在EasyDAP实现数据的查询分析。 描述 填写表描述 2.存储参数 字段名称 字段描述 存储路径 填写数据表的存储路径。
数据源申请 在企业或组织中,数据的管理和使用是至关重要的,为保障数据的安全性,通常需要对数据访问权限进行严格控制。 数据源权限申请功能允许用户根据自身的业务需求,申请对特定数据源的访问权限,包括访问和管理权限。 权限申请 用户可以根据实际工作需要申请相应的权限,而不是一刀切地分配权限,提高了资源使用的灵活性。 通过申请和审批流程,可以明确数据访问的责任人,便于事后审计和责任追究。
元数据权限 元数据权限管理是数据治理的一个重要组成部分,对数据元数据(即描述数据的数据)的访问和操作权限的控制,防止未授权访问。实施有效的元数据权限管理,组织可以更好地控制数据资产,提高数据治理的效率和效果。 库表授权 支持管理员为用户或用户组授予库表权限。
元数据申请 在元数据申请功能中,您可以申请对数据库、数据表或数据列的权限,以便进行相应的数据操作和管理。
数据源权限 数据源权限管理提供数据源权限管控,对接外部数据源权限,授权时长灵活可控。 支持授予源链接的访问、管理权限。