创建集群
更新时间:2024-11-01
BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。BMR为用户保留集群的历史记录长达一年,涵盖了运行中、已释放和已终止等各种状态的集群。超过一年的历史集群记录将不再被保留。
创建自定义集群
- 登录控制台,选择产品服务-MapReduce BMR,进入集群列表页。
- (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。
- 点击创建集群,进入创建集群页。
选择集群配置
集群基础设置说明
表一 集群基础设置配置项说明
配置项 | 配置项说明 |
---|---|
集群类型 | 目前MapReduce支持三种集群类型,不同类型对应不同资源规格和可选服务,请根据实际业务需要选择进行集群创建默认 Hadoop 集群类型 |
集群版本 | BMR发行版是依据开源社区版本、客户需求进行各类服务的统一镜像,各服务的版本由集群版本决定 |
必选服务 | 指依据不同集群类型,用户必须安装的服务。例如,hadoop类型集群必选服务为:hdfs、yarn、mapreduce、zookeeper、ldap |
可选服务 | 指依据不同集群类型,用户可自定义选择的服务。例如,hbase类型集群可选服务为:yarn、mapreduce、ranger |
安全模式 | 开启后,集群中的组件以Kerberos安全模式启动,支持统一的 集群安全管理方案 |
日志 | 自动收集应用运行日志,支持检索和问题定位。 地址格式:bos://{bucket_name},bucket需手动创建,folder输入后系统会自动创建 |
集群标签
标签支持您按各种标准(如用途、所有者或项目)对资源进行分类;每个标签包含键和值两部分。默认一个标签如有需要点击下方添加标签进行添加。
基础配置说明
表二 基础配置项说明
配置项名称 | 配置项说明 |
---|---|
集群名称 | 用于区分不同集群的唯一性。 |
管理员密码 | 该密码可以用于登录创建的集群机器,请设置复杂密码,必须以字母、数字、特殊字符组合,长度在8-17个字符之间。 |
管理员用户名 | root。用户远程SSH到集群进行管理。 |
短信开关 | 默认开启。 是否启用免费短信提醒服务,启动后系统将发送报警短信或邮件给指定的联系人。 |
实例组配置
付费方式和地区
- 选择付费方式:
- 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低
- 后付费:按分钟实时计费,按小时扣费,先使用服务后付费
- 自动终止开启/关闭。
开启时,当最后一个作业执行完毕后,自动释放集群,否则集群会一直保持运行,需手动释放。并且可选择超时设置开启/关闭,开启后,可以设置集群的最大运行时间,如果超过,集群会被释放。提醒方式可以选择短信和邮件。
- 当前区域展示选择后区域,如需修改购买其他地域产品,请前往主导航进行切换。
- 选择可用区后,填写网络配置和实例组配置。
网络配置
表三 网络配置说明
配置项名称 | 配置项说明 |
---|---|
内网DNS解析 | 内网DNS为百度云提供的独立的网络产品,可以实现域名(主机名)与ip之间的自动解析。对于不同集群间,BMR集群与BCC间,需要通过域名(主机名)进行互相访问,数据传输时,可以使用该功能。详情请查看智能云解析DNS。 开启内网DNS的BMR集群将自动关联内网DNS产品,自动加入名为novalocal的私有域(若无该私有域,将自动创建)开启内网DNS解析后,可以实现集群间数据通信。开启后BMR集群将自动关联内网DNS,若无DNS,则会自动创建。 需要注意的是: 1.开启该功能,智能云解析DNS(内网DNS)产品,将根据使用量进行收费。当前智能云解析DNS(内网DNS)处于公测免费阶段,详情请查看产品定价。 2.该功能开启后,暂不支持关闭,请合理规划集群使用用途。释放集群时,为保证其他集群(如有)的正常使用,关联的内网DNS私有域不会自动释放,请您在确定没有其他集群使用该功能时,进入智能云解析DNS控制台,将相关资源进行释放,以免带来不必要的计费。 3.当通过子用户创建BMR集群时,开启内网DNS功能,需要您进入多用户访问控制中,为该用户授予“LDFullControlPolicy”权限,否则该功能无法使用。 |
网络类型 | 若VPC未进行域名配置,会导致您无法成功创建集群,请前往VPC控制台确认VPC域名已被正确配置。 |
安全组 | 安全组具有防火墙功能,用于设置云服务器 CVM 的网络访问控制。 MapReduce自动默认一个安全组配置,该配置影响集群机器的安全组配置,非必要不进行修改。 |
自动终止 | 默认关闭。 开启时,当最后一个作业执行完毕后,自动释放集群,否则集群会一直保持运行,需手动释放。 |
表四 实例组配置说明
配置项名称 | 说明 |
---|---|
高可用 | 开启后,集群拥有三个master实例,支持核心组件自动故障转移。 |
计算类型及实例组 | MASTER节点:支持通用型、计算型、内存型。购买数量非高可用集群为1个,高可用集群为3个。 Task节点:支持通用型、计算型、内存型、本地SSD型、大数据型。购买数量默认为0个,最大可设置50个。控制台上一个集群仅能添加一组Task节点,请规划好套餐设置 CORE节点:支持通用型、计算型、内存型、本地SSD型、大数据型。购买数量默认为2个,最少设置0个,最大可设置200个。 Client节点:支持通用型、计算型、内存型。购买数量默认为0个,最大可设置10个。 |
系统盘 | 系统盘类型支持高性能云磁盘、SSD云磁盘和增强型云磁盘。容量为40-500B,ssd(免费赠送40GB,超出部分需要单独付费)。 |
数据盘 | 数据盘类型支持高性能云磁盘、SSD云磁盘和增强型云磁盘。数目默认为1,最大可设置为5。 容量:50-32765GB, ssd(SSD云磁盘 / 高性能云磁盘/增强型云磁盘)。选择说明 |
- 如果出现规格售罄情况,建议尝试更换区域和可用区。在付费方式和地区切换区域和可用区,查看其它地域内是否有您的服务器。
确认订单
表五 确认订单说明
显示项 | 显示项说明 |
---|---|
BMR集群信息 | 显示配置完成的BMR集群配置信息,确认是否无误。 |
代金券选择 | 代金券分预付费和后付费: |
支付订单 | 1.确认无误后,点击去支付后跳转订单支付界面。页面会再次展示订单详情,请您再次核对订单无误后选择具体的支付方式进行支付。 2.确认支付完成后,系统会更新订单状态,此时集群创建完毕。 |
使用系统预定义模板创建集群
- 在产品服务->MapReduce-集群模板页中,在集群模版列表中,在操作列点击创建集群。具体模板创建详见集群模版。
- 进入配置界面,输入之前创建模板时的管理员密码后点击下一步。
- 完成订单确认和支付后可完成创建集群。
附录
表六 组件依赖说明
组件名称 | 依赖组件 |
---|---|
ranger | ranger-plugin |
yarn | hdfs、zookeeper |
hdfs | zookeeper |
rapidfs | hdfs、bos |
mapreduce2 | hdfs、yarn |
tez | hdfs、yarn |
spark2 | hfds、yarn |
spark3 | hdfs、yarn |
flink | hdfs、yarn |
hive | hdfs、yarn、tez |
hbase | hdfs、zookeeper |
pig | hdfs、yarn |
presto | 通常和 hive 元数据搭配使用 |
impala | 通常和 kudu 搭配使用 |
kudu | 通常和 impala 搭配使用 |
kyuubi | spark |
hudi | 通常和 spark、flink 搭配使用 |
iceberg | 通常和 spark、flink 搭配使用 |
detalake | spark |
oozie | hdfs yarn |