3、文件源导入 1)选择文件类型 支持导入文本文档类数据、结构化数据,同时支持通过网页链接解析并上传网页数据。 2)选择导入BOS集群数据 知识库支持直接从本地上传文件,或从创建好的百度对象存储(BOS)实例中上传文件。 选择BOS服务作为文件的存储及导入源,可支持向知识库导入更大规模的数据,满足企业用户数据安全合规要求。
至此,Sugar成功连接PALO数据库 表一 配置项说明 配置项 配置项说明 数据源名称 创建一个数据源的名称以便于后续管理 描述 可以自定义描述,补充数据源的详细管理信息 数据库地址Host 在PALO集群详情页面-配置信息,给LeaderNode绑定Eip,填写这个IP地址即可(Eip需要用户自行购买并绑定) 端口 9030 数据库名 PALO中的数据库名称 用户名 PALO集群中创建的账号,管理员账号
基于常见数据资产类型,EasyDAP支持的数据湖存储类型为:HDFS分布式文件系统、 BOS对象存储。 源链接:企业数据源系统的链接信息。基于企业场景的数据源系统,EasyDAP目前已支持管理 MYSQL 、ORACLE、SQLSERVER等DB类,PALO、GP等MPP类,HBASE 等NOSQL类型的数据源系统。
2.创建数据集:数据源配置 配置字段 说明 数据源名称 用于标识此数据源在这个数据集中的唯一名称,必填非空 数据源挂载 UFS 路径 数据源的BOS路径,格式为 /<子路径>。
单击 数据源配置 页签,找到目标数据源名称,并单击其右侧 操作 列的 编辑 。 说明 数据源关联的 SQL 开发规范 中,左侧带有 图标代表已继承环境中配置的 SQL 开发规范 。 在弹出的 编辑数据源配置 窗口中,将 SQL 开发规范 下 继承环境配置 左侧的勾去掉,然后选择您需要的规范,单击 确定 。 说明 重新选中 继承环境配置 即可恢复成环境中配置的 SQL 开发规范 。
单击 数据源配置 页签,找到目标数据源名称,并单击其右侧 操作 列的 编辑 。 说明 数据源关联的 审批流程 中,左侧带有 图标代表已继承环境中配置的 审批流程 。 在弹出的 编辑数据源配置 窗口中,将 审批流程 下 继承环境配置 左侧的勾去掉,然后选择您需要的 审批流程 ,单击 确定 。 说明 重新选中 继承环境配置 即可恢复成环境中配置的 审批流程 。
路由算法 (可选) 方式 选择 表达式添加 时可配置,根据您应用中配置的路由算法配置该参数,可以根据路由快速解析需要访问的表,提高查询效率。 库 方式 选择 手动添加 时需要配置,单击 添加数据源 ,选择需要加入到分组中的数据源,支持多选、全选和反选操作,同时支持输入数据源名称进行搜索,单击 确定 后,还需要选择具体的库和表,根据数据源不同,可能还需要选择具体的 Schema。
库 方式 选择 手动添加 时需要配置,单击 添加数据源 ,选择需要加入到分组中的数据源,支持多选、全选和反选操作,同时支持输入数据源名称进行搜索,单击 确定 后,还需要选择具体的库和表,根据数据源不同,可能还需要选择具体的 Schema。
需要保证RDS服务与资源组属于相同VPC,且资源组与RDS服务的安全组配置允许资源组访问RDS服务,资源组的VPC、安全组配置如下图。 RDS服务【安全管理】的【白名单】配置如下图。 从【我的项目】界面进入刚刚创建的项目,在【脚本作业开发】中创建SparkSQL作业,【数据源类型】选择EDAPDatalake,【计算资源】选择刚刚创建的资源组,使用如下SQL可读取BOS文件数据写入中间表。
应用场景 数据集成、交换场景 通过EasyDAP实现异构数据源的数据集成、交换。 数据治理场景 通过EasyDAP从元数据角度对企业数据进行统一数据目录管理、同时保证数据质量、数据安全、提供数据萃取服务。 数仓建设场景 通过EasyDAP进行数据集成、ETL 入仓PALO,高效构建企业级数据仓库。