概述

本文档介绍推理服务的滚动更新和优雅退出配置。滚动更新是在扩缩容、更新服务过程中逐步替换旧实例为新实例的发布策略，保证服务更新过程中业务不中断。优雅退出是滚动更新过程中的安全收尾机制，确保实例在关闭前完成存量请求的处理，避免用户请求被强制中断。

前提条件

• 已登录百度智能云控制台，并进入百度百舸·AI 计算平台。
• 已具备部署在线服务的操作权限。

滚动更新

推理服务支持滚动更新策略，创建服务时可在高级配置中配置滚动更新参数。

参数说明如下。

重要： 建议根据实际负载和预热情况调整参数。

优雅退出

实例退出前将等待一段时间来处理已经接收的请求，以减少实例变更带来的请求报错。

参数说明如下。

重要： 参数值过小可能会影响服务稳定性，过大可能会导致服务更新速度过慢，无特殊需求建议使用默认值。