脱敏规则 内置脱敏算法 EDAP平台目前支持对String、Int、Bigint、Float、Double、Decimal等多种数据类型的字段添加脱敏规则,脱敏规则主要支持哈希算法、遮掩算法、截断算法、变换算法、加密算法。 表一 脱敏规则说明 脱敏规则名称 脱敏规则类别 适用数据类型 SHA256 哈希算法 String HMAC-SHA256 哈希算法 String MD5 哈希算法 Strin
主题设计 主题设计是通过简单的层级结构将繁杂的平台数据按照业务主题进行合理划分,帮助厘清业务数据,做好数据的分类整理与聚合。 功能介绍 主题设计可以对数据进行分类管理,支持查询、新建、编辑、删除等功能。以下只对主题设计功能进行简要介绍,具体操作介绍详见主题域/主题管理。 表一 功能介绍详细说明 功能名称 说明 查询 在搜索框内,支持搜索主题域/主题中包含的关键字,方便快捷地查找数据所在的主题。 新
作业组 作业组列表 列表形式展示“已发布”的离线作业组,支持按照发布人、上线人和作业组名称进行筛选。列表展示项包括: 表一 展示项说明 展示项名称 描述 作业名称 显示实时作业的名称。 状态 显示当前任务的发布/上线状态。 已发布:任务第一次发布时,状态为【已发布】状态,此时任务没有真正在运维环境中上线,不能进行任务启动运行。 已上线:针对已发布的任务进行上线操作。此时任务状态为【已上线】。已上线
脚本作业 在线进行离线大数据脚本任务的统一协同开发,支持多种类型脚本的在线开发、编辑、测试。 新建脚本作业 1.任务开发列表中新建按钮,单击 新建 按钮选择 新建作业 ,或者在工作台上方单击 新建脚本作业 。填写新建作业的相关配置项即创建作业成功。 2.配置项说明 表一 配置项说明 配置项名称 配置项说明 作业名称 输入作业名称,用于区分不同作业。中文、英文、数字、中划线、下划线,不能以中划线、下
静态脱敏 创建脱敏任务 单击首页左侧导航栏 数据治理>数据安全>静态脱敏 ,在数据静态脱敏中点击新建创建脱敏任务。 填写基本信息、源端配置、脱敏规则配置和目的端配置信息。 表一 创建脱敏任务基本信息配置项说明 配置项名称 配置项含义 输入规范 任务名称 静态脱敏任务名称 支持中文、英文字母、数字、中划线,不超过32个字符。 描述 静态脱敏任务描述信息 支持中文、英文字母、数字、特殊字符等,不超过2
作业组 新增文件夹/作业 作业组支持按照文件夹进行分组管理,新建作业前可以选择新增文件夹。 选择侧边导航或者快速访问中 数据加工>开发(顶部导航)>作业组 后进入作业组。 新建文件夹。单击 新建 按钮选择 新建文件夹 ,填写相关配置项即可新建成功。 新建作业组。单击 新建 按钮选择 新建作业 ,文件夹支持自行选择存放,填写完毕点击确定新建成功。 作业组配置 作业组的节点目前支持七种类型:可视化作业
可视化作业 概述 EDAP支持离线作业开发模式,主要面向离线数据处理场景,同时提供了可视化作业开发、脚本作业开发、作业组开发三种开发方式,满足不同客户开发需求。本章节将详细的为您介绍可视化作业开发流程。 图一 离线开发可视化作业概览 表一 可视化作业概览描述 功能区域 描述 选择作业 区域1用于快速切换不同作业 任务开发列表 区域2是任务开发列表。 系统默认作业文件是 任务开发 。在此区域可以新建
API概述 通用说明 EDAP服务域名 区域 服务端点 协议 regionID 北京 edap.bj.baidubce.com HTTP and HTTPS bj 广州 edap.gz.baidubce.com HTTP and HTTPS gz 苏州 edap.su.baidubce.com HTTP and HTTPS su 保定 edap.bd.baidubce.com HTTP and H
作业组 作业组列表 单击 数据加工>运维(顶部导航)>实例运维(侧边导航)>作业组 进入离线作业列表,列表显示离线作业组实例,开始时间默认选中近一小时。 列表展示已发布的作业组,列表展示项包括: 表一 作业组展示项说明 展示项名称 展示项说明 实例ID 显示作业组实例ID信息。 作业组名称 显示作业组的名称。 状态 显示当前作业组实例的运行状态。作业组实例状态参考作业实例状态说明。 实例来源 周期
产品架构 产品架构将介绍EasyDAP的产品架构,帮助用户理解EasyDAP重要功能和能力。主架构贯穿数据集成、数据管理、数据开发、任务调度、数据治理、数据分析、数据服务等数据全生命周期,底层支持对接大数据存储计算平台和企业原有IT系统,上层对接DAMP、SugarBI等数据应用,开放OpenApi支持数据应用灵活定制开发。