弹性伸缩
更新时间:2024-10-25
大数据处理及分析场景下,常常需要根据业务情况的变化动态调整集群的task节点数量,这样可以在保证作业顺利完成的同时,降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。适用于以下场景:
- 业务规模具有时间周期规律,存在明显的波峰与波谷,例如特定时间的日报表、周报表等处理分析场景
- 业务变化不具有时间规律,但需要保证重要作业的及时运行,需要根据集群负载指标动态调整集群规模
配置节点套餐
- 选择产品服务>数据分析>MapReduce>集群进入集群列表页面。
- 点击所选集群后方操作列中的弹性伸缩按钮,进入管理弹性伸缩页面。
- 在扩容节点配置栏中,点击新增节点类型,在弹框中选择节点套餐,并配置系统盘及数据盘,点击确认。
- 节点配置选择后,可点击修改或删除,重新配置节点套餐。节点套餐配置完成后,点击保存,则完成节点套餐配置操作。
- 释放所有扩容节点:在弹性伸缩页面,点击页面右上角的释放所有节点,即可释放当前已扩容的节点,并且所有规则将处于已失效的状态,不会触发伸缩操作。
说明:节点套餐一经保存后,在规则运行期间不允许修改套餐。若要修改套餐,需要点击页面右上角的重置并释放所有节点,将已扩容的节点释放并重置套餐类型。
管理伸缩规则
配置规则
伸缩规则分为时间规则与指标规则两种类型,两种规则间互相独立,不可同时生效。规则切换后,原有规则将会失效不再触发,已扩容的节点不会被释放,直到触发新的缩容规则。点击规则类型名称后,可进行规则切换。
1.单击创建扩容规则可以开始创建规则,下面详细介绍不同规则的具体配置说明。
注意:创建规则前请先配置节点套餐保存。
- 时间规则
配置项 | 配置项说明 |
---|---|
规则名称 | 必须以字母开头,支持字母、数字、特殊字符- _ /,长度在1-65个字符之间。 |
规则类型 | 不可选,与当前规则类型相同。 |
执行次数 | 可选重复执行或仅执行一次。 |
执行时间 | 重复执行时,先选择重复周期“每天”、“每周”、“每月”,再按照时-分-秒的格式选择执行的时间点;仅执行一次时,选择具体日期,再按照时-分-秒的格式选择执行的时间点。 |
伸缩行为 | 伸缩行为只会在限制的节点数范围内执行。 |
- 指标规则
配置项 | 配置项说明 |
---|---|
规则名称 | 必须以字母开头,支持字母、数字、特殊字符- _ /,长度在1-65个字符之间。 |
规则类型 | 不可选,与当前规则类型相同。 |
集群指标项 | 选择所要监控的集群指标项;选择指标数据的统计规则,当前可选平均值、最大值、最小值。 |
统计周期 | 评估所选集群指标项是否满足条件的时间周期,例如当5分钟统计周期内,Yarn内存使用量的平均值>80%时,触发规则。 |
阈值 | 选择运算符号“>”、“<”;配置阈值数字。 |
伸缩行为 | 为该条规则触发时扩容节点数量。 |
集群指标项定义 | Yarn: Cluster: |
修改规则
修改规则需要进入弹性伸缩界面,在具体规则可以选择不同操作项(失效、编辑、删除)对规则进行修改。
表一 操作项具体说明
操作项 | 操作说明 |
---|---|
失效/生效 | 点击操作列中的失效/生效,可切换该条规则的状态。 |
编辑 | 点击操作列中的编辑,可重新编辑规则。 |
删除 | 点击操作列中的删除,可删除该条规则。 |
规则状态 | 有两种状态。“生效中”,为该规则可被正常触发并执行相应操作;“已失效”,为该规则不可被触发。 |
查看伸缩日志
- 选择产品服务>MapReduce>集群列表,点击集群名称进入集群详情页面。
- 在侧边导航点击弹性伸缩日志按钮,查看日志记录。
表二 字段说明
字段名称 | 字段说明 |
---|---|
开始时间 | 扩容、缩容操作开始的执行时间。 |
结束时间 | 扩容、缩容操作结束的时间。若操作失败,则展示“无” 。 |
规则名称 | 所触发的规则名称。 |
节点类型 | 实例配置时选择的实例类型。 |
伸缩行为 | 该条操作实际执行的节点数量。 |
执行状态 | 该条操作执行的结果。 |
执行完节点数目 | 该条操作执行完后的弹性伸缩task节点总数。 |
操作 | 单击查看详情按钮,可查看伸缩规则的具体信息,包括规则类型、伸缩行为、执行方式和执行时间。 |