更新服务操作
更新时间:2023-11-10
在完成模型的部署后,如果您的服务流量有变化,您可以进行扩缩容操作以满足您的流量负载要求;如果有新的模型版本经过训练后达到更好的效果,您可以进行更新服务操作以提供更好的模型效果。
前提条件
模型部署前,请确保您已成功完成模型部署操作。
操作步骤
扩缩容
1.登录百舸异构计算平台AIHC控制台。
2.进入模型部署列表页面,点击扩缩容按钮。
3.填写期望扩缩容后服务实例数,点击完成按钮。当您的队列资源充足时,推理服务会从部署中状态变更为运行中状态,完成服务扩容。
更新服务
1.进入模型部署列表页面,点击更新服务按钮,进入编辑模型部署页面。
2.您可以更改模型权重文件、自定义tokenizer和自定义extension在PFS的绝对路径,从而进行模型版本的更新。
也可以更改实例数、CPU、内存和GPU等资源配置信息。
3.点击完成按钮,完成服务更新。