百度MapReduce BMR

    创建集群

    BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。

    创建自定义集群

    1. 登录控制台,选择“产品服务->百度MapReduce BMR”,进入集群列表页。
    2. (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。
    3. 点击“创建集群”,进入创建集群页。
    4. 选择付费方式:

      • 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低。
      • 后付费:按分钟实时计费,按小时扣费,先使用服务后付费。
    5. 在“集群基础设置”区,参考如下说明配置集群基本信息:

      • 集群名称:输入集群名称。
      • 管理员密码:用于SSH远程连接集群,以及登录Hue等网页应用。
      • 确认管理员密码:再次输入管理员密码。
      • 短信开关:默认打开。
      • 日志:默认打开。打开时需输入日志地址,即BOS路径。写入BOS的数据可用于作业日志展现、集群诊断调优和集群高可用保证。要求您必须对该地址有写的权限。如果您在BOS上未建立Bucket,即bucket-name不存在,点击“新建Bucket”,具体操作请参照创建Bucket
      • 自动终止:默认关闭,集群在完成所有数据处理之后保持运行,需手动释放。开启时,集群在数据处理完成后终止,即创建临时集群。
      • 超时设置:默认此功能冻结,开启自动终止后激活此功能,激活后后当集群运行时间超过您设置的超时时长时,系统自动提醒您并根据“超时后操作”的设置处理集群。
    6. 在“集群配置”区,参考如下说明进行配置:

      • 镜像版本:选择适合您的镜像版本。
      • 内置模板/可选应用:可通过“内置模板”快速添加Hadoop、HBase、Druid对应的应用,也可通过自定义选择添加应用。

      说明:

      1. 添加hive及druid应用时若选择default作为Metastore,则不收取关系存储的费用。若选择MySQL作为Metastore,则按照RDS的收费标准收取相关的费用,RDS实例是指已创建的RDS实例,且需输入数据库的服务地址、服务端口、数据库、用户名和密码信息。
      2. 2.0.0镜像模版中的Hbase支持将BOS挂载为底层存储,可以获得更高的数据可靠性、服务可用性,以及存储的弹性可扩展。请注意在配置BOS路径时,该路径下的任意层级目录中,均未曾配置成为过Hbase的存储路径,即该路径下的任意层级目录中均无任何Hbase元数据,否则会导致Hbase服务无法正常使用。
      • 安全模式:是否开启集群的 Kerberos 认证功能,详情请参考集群安全模式
      • 高可用:开启后,集群会有 2 个 master 节点来支持 Resource Manager、Name Node和Kerberos的高可用。
    7. 在“节点配置”区,选择节点配置类型,也可更改节点数量。

      说明:单区域内的单用户的最大集群活跃数为5个。单集群节点设置范围如下:

      • MASTER节点非高可用集群为1个,高可用集群为2个。
      • CORE节点默认为3个,最少设置2个,最大可设置20个,如需超过20个,请发工单申请。
      • Task节点默认为0个,最大可设置50个,如需超过50个,请发工单申请。控制台上一个集群仅能添加一组Task节点,请规划好套餐设置。
      • Client节点默认为0个,最大可设置10个,如需超过10个,请发工单申请。控制台上一个集群仅能添加一组Client节点,请规划好套餐设置。
    8. 点击“完成”,可在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。

    创建集群模板

    1. 在“产品服务->百度MapReduce-集群模板”页中,点击“创建模板”,进入创建模板页。

      说明 仅可创建后付费集群模板,不可创建预付费集群模板。

    2. 完成“集群基础设置”、“集群配置”、“节点配置”,具体操作请参考创建自定义集群的步骤5、步骤6和步骤7。
    3. 点击“完成”,模板创建成功。可在集群模板页查看已创建的模板。

    使用系统预定义模板创建集群

    1. 登录控制台,选择“产品服务->百度MapReduce BMR”,点击“集群模板”,进入集群模板页。
    2. 在集群模板页,已有系统预定义的三个集群模板:spark,hive和hadoop。请选择一个模板,点击该模板对应的“创建集群”按钮,进入创建集群页面。
    3. 您可保持模板的默认配置不变,也可更改集群设置,设置集群管理员密码后点击“完成”开始创建集群。
    4. 在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。

    创建内网DNS集群

    内网DNS为百度云提供的独立的网络产品,可以实现域名(主机名)与ip之间的自动解析。对于不同集群间,BMR集群与BCC间,需要通过域名(主机名)进行互相访问,数据传输时,可以使用该功能。详情请查看智能云解析DNS

    开启内网DNS的BMR集群将自动关联内网DNS产品,自动加入名为novalocal的私有域(若无该私有域,将自动创建)。

    1. 登录控制台,选择“产品服务->百度MapReduce BMR”,进入集群列表页。
    2. 点击“创建集群”,进入创建集群页。
    3. 在集群基础设置,点击开启“内网DNS”按钮。

    image.png

    注意事项

    1. 开启该功能,智能云解析DNS(内网DNS)产品,将根据使用量进行收费。当前智能云解析DNS(内网DNS)处于公测免费阶段,详情请查看产品定价
    2. 该功能开启后,暂不支持关闭,请合理规划集群使用用途。释放集群时,为保证其他集群(如有)的正常使用,关联的内网DNS私有域不会自动释放,请您在确定没有其他集群使用该功能时,进入智能云解析DNS控制台,将相关资源进行释放,以免带来不必要的计费。
    3. 当通过子用户创建BMR集群时,开启内网DNS功能,需要您进入多用户访问控制中,为该用户授予“LDFullControlPolicy”权限,否则该功能无法使用。
    4. 该功能尚且处于白名单公测阶段,若要使用此功能,请提交工单,申请智能云解析(内网DNS解析)的白名单权限。
    上一篇
    开源组件介绍
    下一篇
    管理已有集群