资源管理
EDAP中用户可以将资源注册进入资源管理,统一进行资源的管控。
概述
EDAP平台的计算资源管理是整个平台资源的入口。用户可以添加BMR资源、单机资源、Serverless资源组作为后续作业开发、运行的中需要依赖的资源。
添加计算资源
在【系统中心】中点击【资源管理】,显示现有资源列表。
点击【添加资源】显示添加资源弹窗页面。
目前EDAP支持添加BMR实例、单机服务器、资源组三类资源:
资源类型 | 引用配置 | 资源节点 | 调度引擎 |
---|---|---|---|
BMR实例 | 指定bmrId + yarn queue | 全bmr节点 | yarn |
单机服务器 | 交互提供Vpc + List |
单机节点组 | NA |
资源组 | 无 | cce容器引擎 | k8s |
BMR实例
EDAP支持添加百度大数据平台BMR作为底层计算资源,添加BMR资源之前需要在BMR产品页面创建BMR集群(可参考创建集群 ),BMR集群创建完成后,可选择【BMR】资源,根据要求填写相关信息:
- 计算资源名称:根据实际业务需求可自定义填写当前计算资源名称;
- BMR集群实例名称:下拉选择已经创建的BMR集群实例;
- BMR集群队列:下拉选择已创建的BMR集群队列;
- 计算资源描述:自定义填写计算资源描述。
BMR资源授权
针对BMR资源,需要对当前用户在BMR进行授权。
进入BMR集群管理,点击进入授权使用的BMR集群。
在BMR集群点击【用户管理】,添加BMR账号。
单机资源
EDAP支持基于单机服务器资源运行自己编写的shell、python脚本,选择【单机资源】,根据要求填写相关信息:
计算资源名称:根据实际业务需求可自定义填写当前计算资源名称;
计算资源描述:自定义填写计算资源描述;
配置信息:
- IP地址:填写具体服务器IP地址;
SSH登录认证信息:
- SSH端口号:填写服务器SSH端口号(一般为22);
- 访问用户:填写服务器访问用户。
环境设置:
-
环境参数:
- 标准键:JAVA_HOME,填写value值
- 标准键:python2,填写 python 2.x bin执行文件路径
- 标准键:python3,填写 python 3.x bin执行文件路径
资源组
EDAP支持Serverless资源组, 用于数据开发、数据湖分析、数据服务。
字段名称 | 是否必填 | 输入规范 |
---|---|---|
计算资源名称 | 必填,计算资源名称 | 只支持数字、字母、'_'、'-',且不大于32个字符 |
网络环境 | 必填,标识资源网络环境 | 无 |
计算资源描述 | 非必填,计算资源描述 | 无 |
规格设置 | 必填,支持配置常驻资源规格和动态资源规格 | host校验 |
网络设置 | 必填,配置VPC、子网和安全组 | 无 |
资源管理
计算资源详情查看
点击计算资源名称,可查看当前资源配置详情。
资源类型
资源类型支持选择全部、BMR-集群、独享资源组、单机资源
资源状态
具体状态说明:
- 创建中:后台创建IaaS资源过程(仅Serverless资源组存在该状态);
- 初始化:资源注册/创建后进入此状态, 后台进行客户端部署、远程服务部署,部署/探测必要引擎组件, 标注应用、环境标签;
- 创建失败:超过配置的最长初始化时间后, 仍然无可用节点,进入此状态;
- 运行中:当前资源可用状态;
- 规格调整中:Serverless资源大小调整中(仅Serverless资源组存在该状态);
- 不可用:当前资源不可用;
- 禁用中:当前资源禁用中;
- 释放中, 清理数据, 销毁RA、远程服务、引擎组件, 释放资源实体节点;
- 已释放, 接入的资源已释放或删除成功。
用户操作
对已有资源用户可进行相关操作:
- 编辑:对资源已有配置进行编辑、修改;
- 禁用:对当前资源进行禁用,禁用后资源不可用;
- 删除:删除当前资源,仅禁用中、创建失败、已释放状态的资源可进行删除操作;
项目绑定
资源创建之后,需要将资源绑定到具体的项目,只有绑定到具体项目之后,在项目内才能够使用相应的资源。
点击【资源列表】中操作内的【绑定项目】。
显示资源和项目的绑定弹窗。在弹窗内选择需要绑定的项目名称。
绑定后,在资源页面能够显示,此资源绑定的项目个数。
点击【绑定项目】的数字,能够查看具体绑定的项目名称。