具体的权限范围如下: 多用户访问控制 策略名称 权限说明 权限范围 EDAPFullControl EDAP系统管理员权限 首页:查看版本信息,进行升级、续费操作,查看配额信息,查看常用项目列表、项目详情,查看典型场景,一键导入最佳实践 我的项目:查看所有项目列表、项目详情、新建项目,删除作为项目管理员的项目 数据湖: 元数据:查看、编辑、删除所有元数据;查看、创建和管理元数据发现任务 数据湖:查看数据湖存储列表
数据同步 为了方便数据发布生成数据API,需要将数据湖中的数据进行导出,本示例通过可视化ETL作业,将数据从EDAP数据湖同步到RDS。 数据湖数据导出到RDS 1、进入项目“产品体验测试”,选择可视化作业,在画布中添加源端插件DataLakeSource、目标端插件DataBase。 2、点击插件进行属性配置,源端数据表为test_stu,目标端数据表为mysql_stu。
查看异常数据 登录并进入百度智能云数据湖管理与分析EasyDAP。在左侧导航栏,单击 数据治理>数据质量>运维管理 ,进入运维管理界面。 从左侧各数据源类型中选择一个,并且选中一个数据库,查看该数据库下所有表的质量任务运行实例。 单击实例列表操作栏中的结果查看,进入执行结果查看详情页面。
设计数据模型 1、进入“数据湖-元数据管理”菜单,选择已创建的数据库,点击“新建表”,按照1.1 的数据模型,创建表test_score。 2、字段引标 字段email、score引用数据标准。
操作步骤 登录并进入百度智能云数据湖管理与分析EasyDAP。选择侧边导航 数据治理>数据质量>配置管理 。进入配置管理界面 单击 修改 按钮后选择一个存储路径,然后单击保存即修改成功。 字段质量评分配置单击修改按钮修改后单击保存即修改成功。
catalog名称 数据源用户数据湖分析时的唯一标识符,以字母、数字、下划线组合,且不能以数字和下划线开头。
本示例基于一张客户信用评分表,选择EDAPDataLake作为数据湖底座,选择BMR作为计算引擎,使用EasyDAP进行数据开发、治理,最后通过数据服务实现数据开放。
创建规则模板 登录并进入百度智能云数据湖管理与分析EasyDAP。在左侧导航栏选择 数据治理>数据质量>规则模板 。 单击 新建规则模板 ,填写规则模板的基本配置和关系定义。完成后确认即完成创建。 表二 创建规则模板配置项说明 配置项名称 描述 使用限制 规则模板名称 自定义规则模板名称。 只能包含英文字母、数字、中划线和下划线,且以英文字母开头,不大于50个字符。
执行、查看、下载功能 2022-07 支持将BOS对象存储、HDFS作为数据湖存储,进行存储路径的创建和管理 支持通过选择已有表和自动建表的方式进行离线数据入湖 支持面向数据湖进行统一元数据管理,支持通过可视化、DDL的方式面向数据湖建表 支持使用Spark、Flink引擎对数据湖的数据进行离线、实时数据开发 数据标准和公共代码模版升级 支持标准的发布、审批、删除、废弃流程,支持批量导入导出 2021
产品介绍 产品介绍 数据湖存储加速工具(Data Lake Accelerator,RapidFS)是一款高可靠、高可用、弹性的数据湖存储加速工具。依靠 对象存储 BOS 作为数据湖存储底座,为数据湖生态中的计算应用提供统一数据湖入口,加速大数据、人工智能、机器学习等业务访问存储的性能。