管理集群

创建集群

BMR提供两种创建集群的方法:创建自定义集群、使用系统预定义模板创建集群。

创建自定义集群

  1. 登录控制台,选择“产品服务->百度MapReduce BMR”,进入集群列表页。

  2. (可选)选择区域,区域说明请参考区域选择说明。在不同区域创建的集群相互独立。

  3. 点击“创建集群”,进入创建集群页。

  4. 选择付费方式:

    • 预付费:以自然年或自然月为计费周期支付订单,先付费后使用服务,价格较后付费更低。
    • 后付费:按分钟实时计费,按小时扣费,先使用服务后付费。
  5. 在“集群基础设置”区,参考如下说明配置集群基本信息:

    • 集群名称:输入集群名称,默认为“我的集群”。
    • 管理员密码:用于SSH远程连接集群,以及登录Hue等网页应用。
    • 确认管理员密码:再次输入管理员密码。
    • 短信开关:默认打开。
    • 常用报警策略:默认打开。
    • 日志:默认打开。打开时需输入日志地址,即BOS路径。写入BOS的数据可用于作业日志展现、集群诊断调优和集群高可用保证。要求您必须对该地址有写的权限。如果您在BOS上未建立Bucket,即bucket-name不存在,点击“新建Bucket”,具体操作请参照创建Bucket
    • 自动终止:默认关闭,集群在完成所有数据处理之后保持运行,需手动释放。开启时,集群在数据处理完成后终止,即创建临时集群。
    • 超时设置:默认此功能冻结,开启自动终止后激活此功能,激活后后当集群运行时间超过您设置的超时时长时,系统自动提醒您并根据“超时后操作”的设置处理集群。
  6. 在“集群配置”区,参考如下说明进行配置:

    • 镜像版本:选择适合您的镜像版本。
    • 内置模板/可选应用:可通过“内置模板”快速添加Hadoop、Spark、HBase对应的应用,也可通过自定义选择添加应用。

      说明:添加hive应用时若选择default作为Metastore,则不收取关系存储的费用。若选择MySQL作为Metastore,则按照RDS的收费标准收取相关的费用,RDS实例是指已创建的RDS实例,且需输入数据库的服务地址、服务端口、数据库、用户名和密码信息。

    • 安全模式:是否开启集群的 Kerberos 认证功能,详情请参考集群安全模式

    • 高可用:开启后,集群会有 2 个 master 节点来支持 Resource Manager、Name Node和Kerberos的高可用。
  7. 在“节点配置”区,选择节点配置类型,也可更改节点数量。预付费和后付费对应的节点配置类型不同,具体如下:

    • 后付费可选的节点配置类型如下:
      | 系列 | 名称 | 实例类型 | CPU(核) | 内存(GB) | 存储(GB) | 单价(元/分钟/节点) |
      | ---: | ---: | ---: | ---: | ---: | ---: | ---:|
      | 通用I型 | 迷你配置 | g1.tiny | 2 | 8 | 50 (1 x 50) SSD | 0.025 |
      | - | 初级配置 | g1.small | 4 | 16 | 100 (1 x 100) SSD | 0.05 |
      | - | 中级配置 | g1.medium | 8 | 32 | 200 (1 x 200) SSD | 0.1 |
      | - | 标准配置 | g1.large | 16 | 64 | 400 (1 x 400) SSD | 0.2 |
      | 计算I型 | 初级配置 | c1.small | 8 | 16 | 100 (1 x 100) SSD | 0.058 |
      | - | 中级配置 | c1.medium | 16 | 32 | 200 (2 x 100) SSD | 0.115 |
      | - | 标准配置 | c1.large | 32 | 64 | 400 (1 x 400) SSD | 0.23 |
      | 存储I型 | 初级配置 | d1.small | 4 | 15 | 5400 (1 x 5400) HDD | 0.053 |
      | - | 中级配置 | d1.medium | 8 | 30 | 10800 (2 x 5400) HDD | 0.106 |
      | - | 标准配置 | d1.large | 12 | 45 | 16200 (3 x 5400) HDD | 0.16 |
      | - | 高级配置 | d1.xlarge | 30 | 105 | 37800 (7 x 5400) HDD | 0.375 |
      | 初期系列 | 一般通用型 | g.small | 2 | 8 | 200 (1 x 200) HDD | 0.013 |
      | - | 内存最优型 | m.medium | 4 | 32 | 400 (1 x 400) HDD | 0.044 |
      | - | 计算1型 | c.2xlarge | 8 | 32 | 4000 (2 x 2000) HDD | 0.057 |
      | - | 计算最优型 | c.large | 8 | 32 | 600 (1 x 600) HDD | 0.053 |
      | - | 存储最优型 | s.medium | 4 | 16 | 1000 (1 x 1000) HDD | 0.027 |
    • 预付费可选的节点配置类型如下:
      | 系列 | 名称 | 实例类型 | CPU(核) | 内存(GB) | SSD存储(GB) | 价格(元/月/节点) | 价格(元/年/节点) |
      | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
      | 通用I型 | 迷你配置 | g1.tiny | 2 | 8 | 50 (1 x 50) SSD | 325.91 | 3259.1 |
      | - | 初级配置 | g1.small | 4 | 16 | 100 (1 x 100) SSD | 651.82 | 6518.2 |
      | - | 中级配置 | g1.medium | 8 | 32 | 200 (1 x 200) SSD | 1303.65 | 13036.5 |
      | - | 标准配置 | g1.large | 16 | 64 | 400 (1 x 400) SSD | 2607.29 | 26072.9 |
      | 计算I型 | 初级配置 | c1.small | 8 | 16 | 100 (1 x 100) SSD | 832.42 | 8324.2 |
      | - | 中级配置 | c1.medium | 16 | 32 | 200 (2 x 100) SSD | 1664.85 | 16648.5 |
      | - | 标准配置 | c1.large | 32 | 64 | 400 (1 x 400) SSD | 3329.69 | 33296.9 |
      | 存储I型 | 初级配置 | d1.small | 4 | 15 | 5400 (1 x 5400) HDD | 872.79 | 8727.9 |
      | - | 中级配置 | d1.medium | 8 | 30 | 10800 (2 x 5400) HDD | 1745.58 | 17455.8 |
      | - | 标准配置 | d1.large | 12 | 45 | 16200 (3 x 5400) HDD | 2618.36 | 26183.6 |
      | - | 高级配置 | d1.xlarge | 30 | 105 | 37800 (7 x 5400) HDD | 6199.82 | 61998.2 |
      | 初期系列 | 计算1型 | c.2xlarge | 8 | 32 | 4000 (2 x 2000) HDD | 1481.82 | 14818.2 |
      | - | 存储最优型 | s.medium | 4 | 16 | 1000 (1 x 1000) HDD | 694.75 | 6947.5 |

      说明:单区域内的单用户的最大集群活跃数为5个。单集群节点设置范围如下:

      - MASTER节点非高可用集群为1个,高可用集群为2个。
      - CORE节点默认为3个,最少设置2个,最大可设置20个,如需超过20个,请发工单申请。
      - Task节点默认为0个,最大可设置20个,如需超过20个,请发工单申请。控制台上一个集群仅能添加一组Task节点,请规划好套餐设置。
      
  8. 点击“完成”,可在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。

使用系统预定义模板创建集群

  1. 登录控制台,选择“产品服务->百度MapReduce BMR”,点击“集群模板”,进入集群模板页。

  2. 在集群模板页,已有系统预定义的三个集群模板:spark,hive和hadoop。请选择一个模板,点击该模板对应的“创建集群”按钮,进入创建集群页面。

  3. 您可保持模板的默认配置不变,也可更改集群设置,设置集群管理员密码后点击“完成”开始创建集群。

  4. 在集群列表页可查看已创建的集群正在“初始化中”,稍等片刻集群状态变成“空闲中”,则集群创建成功。

管理已有集群

对已创建的集群,可在“产品服务->百度MapReduce-集群列表”页查看所有集群。对已创建的集群您可做如下操作:

  • 查看集群详情
  • 修改集群名称
  • 续费
  • 复制集群
  • 调整集群规模
  • 保存集群为模板
  • 释放集群

查看集群详情

  1. 在“产品服务->百度MapReduce-集群列表”页,可查看所有已创建的集群状态。

  2. 点击集群名称可查看该集群的实例详情,详情页如下图所示:

修改集群名称

您可通过两种方式修改集群名称:

  • 在“产品服务->百度MapReduce-集群列表”页,在“集群名称/ID”列,点击集群名称右侧的变更按钮,在弹出的对话框内输入集群的新名称,点击“确定”即可。

  • 在“产品服务->百度MapReduce-集群列表”页,点击集群名称进入集群详情页,点击集群名称对应的“变更”按钮,在弹出的对话框内输入集群的新名称,点击“确定”即可。

续费

使用预付费方式购买的包年包月集群,在集群状态为“空闲中”、“运行中”或“已停服”时可续费。具体操作如下:

  1. 在“产品服务->百度MapReduce-集群列表”页,点击需续费集群对应的“续费”按钮,进入该集群的续费页。

  2. 选择续费的时长,点击“下一步”进入订单确认页。

  3. 请确认订单价格和是否使用可用代金券。

  4. 点击“去支付”进入支付页面。

  5. 根据页面提示选择支付方式完成支付即可。

复制集群

  1. 在“产品服务->百度MapReduce-集群列表”页,点击被复制集群对应的“复制”按钮,进入该集群的配置页。

  2. 若完全复制集群,点击“完成”即可;也可更改集群的设置后点击“完成”。建议更改日志文件的储存地址,便于区分集群日志。

调整集群规模

  1. 在“产品服务->百度MapReduce-集群列表”页,点击被调整集群对应的“调整集群规模”按钮,进入该集群的变更配置页。

  2. 在变更配置页,可增减集群节点。可调整范围如下:

    • MASTER节点非高可用集群为1个,高可用集群为2个。
      • CORE节点只支持增加,不支持减少;最少可设置为2个,最大可设置20个,如需超过20个,请发工单申请。
      • Task节点:支持增加和减少操作,最少可设置0个,最大可设置20个,如需超过20个,请发工单申请。后付费集群支持节点增加和减少;预付费集群只支持节点增加,如需减少,请发工单申请。
        下图是后付费方式购买集群的变更配置页:

  3. 点击“确认调整”后:

    • 后付费方式购买的集群:已完成集群规模变更。
    • 预付费方式购买的集群:进入确认订单页,确认订单价格和是否使用可用代金券后完成支付即可。
  4. 在实例详情页查看扩增后的节点数量。

    说明

    • 预付费方式购买的包年包月集群,不允许扩增到期时间小于24小时的集群。
    • 串行处理扩容缩容的请求,因此处理完一个扩容缩容的请求后,才接受下一个扩容缩容请求。
    • 集群在初始化或者释放中的时候,以及欠费停服务的集群,是不能处理扩容缩容请求的。
    • 扩增集群节点时可以释放集群,扩增的节点也均被释放。
    • 集群扩增节点的过程中不影响作业的提交和运行。
    • 新增加的task节点上没有datanode服务,属于任务节点。
    • 在集群运行作业期间提交的缩减task节点的请求,会在作业运行完之后处理。

保存集群为模板

  1. 在“产品服务>MapReduce>百度MapReduce-集群列表”中,点击集群对应的“保存为模板”按钮即可。

  2. 点击左侧导航页的“集群模板”可查看已保存的模板。

释放集群

  1. 在“产品服务>MapReduce>百度MapReduce-集群列表”中,点击集群对应的“释放”按钮后,在弹出的对话框中点击“确定”即可释放集群。

    说明:仅可释放后付费集群,不可释放预付费集群。

  2. 集群的状态由“空闲中”变成“释放中”,最后是“已释放”。对于已释放的集群,集群信息会在集群列表中保留3个月,之后会自动删除。