创建集群
更新时间:2022-04-02
BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。
BMR将为用户保留一年的集群历史记录,包含正在运行中、已释放、已终止等全部状态的集群,超过一年的历史集群记录不做保留。
创建自定义集群
- 登录控制台,选择“产品服务->MapReduce BMR”,进入集群列表页。
- (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。
- 点击“创建集群”,进入创建集群页。
-
选择付费方式:
- 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低。
- 后付费:按分钟实时计费,按小时扣费,先使用服务后付费。
-
在“集群基础设置”区,参考如下说明配置集群基本信息:
- 集群名称:输入集群名称。
- 管理员密码:用于SSH远程连接集群,以及登录Hue等网页应用。
- 确认管理员密码:再次输入管理员密码。
- 短信开关:默认打开。
- 日志:默认打开。打开时需输入日志地址,即BOS路径。写入BOS的数据可用于作业日志展现、集群诊断调优和集群高可用保证。要求您必须对该地址有写的权限。如果您在BOS上未建立Bucket,即bucket-name不存在,点击“新建Bucket”,具体操作请参照创建Bucket。
- 自动终止:默认关闭,集群在完成所有数据处理之后保持运行,需手动释放。开启时,集群在数据处理完成后终止,即创建临时集群。
- 超时设置:默认此功能冻结,开启自动终止后激活此功能,激活后后当集群运行时间超过您设置的超时时长时,系统自动提醒您并根据“超时后操作”的设置处理集群。
-
在“集群配置”区,参考如下说明进行配置:
- 镜像版本:选择适合您的镜像版本。
- 内置模板/可选应用:可通过“内置模板”快速添加Hadoop、HBase、Druid对应的应用,也可通过自定义选择添加应用。
说明:
- 添加hive及druid应用时若选择default作为Metastore,则不收取关系存储的费用。若选择MySQL作为Metastore,则按照RDS的收费标准收取相关的费用,RDS实例是指已创建的RDS实例,且需输入数据库的服务地址、服务端口、数据库、用户名和密码信息。
- 2.0.0镜像模版中的Hbase支持将BOS挂载为底层存储,可以获得更高的数据可靠性、服务可用性,以及存储的弹性可扩展。请注意在配置BOS路径时,该路径下的任意层级目录中,均未曾配置成为过Hbase的存储路径,即该路径下的任意层级目录中均无任何Hbase元数据,否则会导致Hbase服务无法正常使用。
- 安全模式:是否开启集群的 Kerberos 认证功能,详情请参考集群安全模式。
- 高可用:开启后,集群会有 2 个 master 节点来支持 Resource Manager、Name Node和Kerberos的高可用。
-
在“节点配置”区,选择节点配置类型,也可更改节点数量。
说明:单区域内的单用户的最大集群活跃数为5个。单集群节点设置范围如下:
- MASTER节点非高可用集群为1个,高可用集群为2个。
- CORE节点默认为3个,最少设置2个,最大可设置20个,如需超过20个,请发工单申请。
- Task节点默认为0个,最大可设置50个,如需超过50个,请发工单申请。控制台上一个集群仅能添加一组Task节点,请规划好套餐设置。
- Client节点默认为0个,最大可设置10个,如需超过10个,请发工单申请。控制台上一个集群仅能添加一组Client节点,请规划好套餐设置。
- 点击“完成”,可在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。
创建集群模板
-
在“产品服务->MapReduce-集群模板”页中,点击“创建模板”,进入创建模板页。
说明 仅可创建后付费集群模板,不可创建预付费集群模板。
- 完成“集群基础设置”、“集群配置”、“节点配置”,具体操作请参考创建自定义集群的步骤5、步骤6和步骤7。
- 点击“完成”,模板创建成功。可在集群模板页查看已创建的模板。
使用系统预定义模板创建集群
- 登录控制台,选择“产品服务->MapReduce BMR”,点击“集群模板”,进入集群模板页。
- 在集群模板页,已有系统预定义的三个集群模板:spark,hive和hadoop。请选择一个模板,点击该模板对应的“创建集群”按钮,进入创建集群页面。
- 您可保持模板的默认配置不变,也可更改集群设置,设置集群管理员密码后点击“完成”开始创建集群。
- 在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。
创建内网DNS集群
内网DNS为百度云提供的独立的网络产品,可以实现域名(主机名)与ip之间的自动解析。对于不同集群间,BMR集群与BCC间,需要通过域名(主机名)进行互相访问,数据传输时,可以使用该功能。详情请查看智能云解析DNS。
开启内网DNS的BMR集群将自动关联内网DNS产品,自动加入名为novalocal的私有域(若无该私有域,将自动创建)。
- 登录控制台,选择“产品服务->MapReduce BMR”,进入集群列表页。
- 点击“创建集群”,进入创建集群页。
- 在集群基础设置,点击开启“内网DNS”按钮。
注意事项
- 开启该功能,智能云解析DNS(内网DNS)产品,将根据使用量进行收费。当前智能云解析DNS(内网DNS)处于公测免费阶段,详情请查看产品定价。
- 该功能开启后,暂不支持关闭,请合理规划集群使用用途。释放集群时,为保证其他集群(如有)的正常使用,关联的内网DNS私有域不会自动释放,请您在确定没有其他集群使用该功能时,进入智能云解析DNS控制台,将相关资源进行释放,以免带来不必要的计费。
- 当通过子用户创建BMR集群时,开启内网DNS功能,需要您进入多用户访问控制中,为该用户授予“LDFullControlPolicy”权限,否则该功能无法使用。
- 该功能尚且处于白名单公测阶段,若要使用此功能,请提交工单,申请智能云解析(内网DNS解析)的白名单权限。