概述

本文档介绍百舸 AI 计算平台 AIHC 在线服务的自动扩缩容功能。如果业务负载出现显著的波峰波谷，您可以开启弹性扩缩容或定时扩缩容功能，根据业务负载变化配置扩缩容策略。平台将自动调整服务的实例数量，实现计算资源的动态管理，确保业务平稳运行并提高资源利用率。

前提条件

1. 已创建资源池、资源队列，并已部署至少一个在线服务。
2. 自运维资源池 K8s 版本为 1.24 及以上。若低于 1.24 版本，请联系技术支持人员升级后使用此功能。
3. 服务所属的资源池已关联监控实例 CProm。若当前资源池已关联监控实例，可跳过此配置。
4. 如需新建监控实例，请在 “Prometheus 服务” 中创建监控实例，并在 “容器引擎 CCE” 中将 CCE 集群接入该监控实例。若容器引擎 CCE 已接入实例，可跳过此配置。
5. 已生成监控实例 CProm 的 Token。使用弹性扩缩容功能时，平台需要获取您的 Grafana 访问地址和 Token。进入资源池关联的 CProm 监控实例详情，查看实例信息并生成 Token。

开始使用

弹性扩缩容

1. 登录 百舸 AI 计算平台 AIHC 控制台。
2. 选择 大规模训练与推理->在线服务部署->在线服务，进入 在线服务 列表。
3. 选择需要扩缩容的服务，点击服务名称进入服务详情页。
4. 点击 自动扩缩容 页签，开启 弹性扩缩容 开关。
5. 配置弹性扩缩容策略参数。

参数	描述	说明
常规指标	平台提供 GPU、CPU、内存利用率常规指标。	选择平台内置指标作为扩缩容判断依据。
自定义指标	如需根据业务逻辑设置自定义的监控指标，请参考 自定义监控指标。	适用于需要按业务指标触发扩缩容的场景。
最小实例数	弹性扩缩容可缩容到的最小 POD 实例数，可选范围为 1-1000，默认值为 1。	该值不能大于最大实例数。
最大实例数	弹性扩缩容可扩容到的最多 POD 实例数，可选范围为 1-1000，默认值为 1。	该值不能小于最小实例数。
扩容生效时长	指定从扩容指令下达开始到扩容实际生效所需的时长。可输入范围为 0-300 秒，默认值为 0 秒。	如果在此期间系统检测到业务负载恢复正常，将取消扩容指令。
缩容生效时长	指定从缩容指令下达开始到缩容实际生效所需的时长。可输入范围为 0-300 秒，默认值为 300 秒。	如果在此期间系统检测到业务负载恢复正常，将取消缩容指令，并且每隔 5 分钟检查一次，直到单实例 TPS 或 QPS 小于目标值后再开始缩容。

6. 配置完成后，点击 【确定】 保存。### 定时扩缩容
7. 登录 百舸 AI 计算平台 AIHC 控制台。
8. 选择 大规模训练与推理->在线服务部署->在线服务，进入 在线服务 列表。
9. 选择需要扩缩容的服务，点击服务名称进入服务详情页。
10. 点击 自动扩缩容 页签，找到 定时扩缩容 配置卡片，开启 定时扩缩容 开关。
11. 在 开启定时扩缩容 弹窗中配置定时扩缩容策略。

参数	描述	说明
目标实例数	设置定时周期内需要扩缩容的预期实例数。	平台会在触发时间到达后，将服务实例数调整到该目标值。
触发时间	设置定时执行时间，支持每天、每周、每月、Cron 表达式。	选择每天时，配置每天触发的具体时间；选择每周时，配置星期和触发时间；选择每月时，配置每月日期和触发时间；选择 Cron 表达式时，分别填写秒、分钟、小时、日、月、星期字段。

最多可添加 5 条定时策略。配置完成后，点击 【确定】 保存。

Cron 表达式

参数说明

名称	可用值	可输入特殊符号	说明
秒	0-59	* / , -	指定触发时间中的秒字段。
分钟	0-59	* / , -	指定触发时间中的分钟字段。
小时	0-23	* / , -	指定触发时间中的小时字段。
日	1-31	* / , - ?	指定触发时间中的日期字段。
月	1-12	* / , -	指定触发时间中的月份字段。
星期	0-6	* / , - ?	指定触发时间中的星期字段。

特殊字符说明

• 星号（*）表示表达式能匹配该字段的所有值。如在第 5 个字段使用星号（month），表示每个月。
• 斜线（/）表示增长间隔。如第 1 个字段（minutes）值是 3-59/15，表示每小时的第 3 分钟开始执行一次，之后每隔 15 分钟执行一次，即在 3、18、33、48 这些时间点执行，也可以表示为 3/15。
• 逗号（,）用于枚举值。如第 6 个字段值是 MON,WED,FRI，表示星期一、星期三、星期五执行。
• 连字号（-）表示一个范围。如第 3 个字段的值为 9-17，表示 9 点到 17 点之间每个小时执行一次。
• 问号（?）只用于日（Day of month）和星期（Day of week），表示不指定值，可用于代替 *。

Cron举例说明

• 每隔 5 秒执行一次：/5 * * * ?
• 每隔 1 分钟执行一次：0 /1 * * ?
• 每天凌晨 1 点执行一次：0 0 1 * * ?
• 每月 1 号凌晨 1 点执行一次：0 0 1 1 * ?
• 在 26 分、29 分、33 分执行一次：0 26,29,33 * * * ?
• 每天的 0 点、13 点、18 点、21 点都执行一次：0 0 0,13,18,21 * * ?