公有云部署即将模型中的模型部署为在线服务，从而以REST API的方式提供推理预测能力。

公有云部署概要

模型仓库中的模型与公有云部署即在线服务是一一对应的关系，即模型仓库中一个模型包含多个版本时，这些不同的版本只能部署到同一个在线服务中。

在线服务当前仅允许一个模型版本处于上线状态，若上线时有其它模型版本在线，则会将当前版本下线并上线新的版本。

对于在线的模型版本，可以执行扩缩容操作。

服务状态说明

服务状态及其含义如下所示：

公有云部署支持的模型类型

模型仓库中的如下类型的模型支持共有云部署：

• 来自BML训练任务的模型，包括脚本调参、Notbeook以及自定义作业

• 对于用户从本地导入的模型，则如下类型的模型支持公有云部署：

  • 框架为PaddlePaddle、TensorFlow、PyTorch的深度学习模型
  • 基于Sklearn、XGBoost的机器学习模型

服务休眠策略

服务休眠是指若服务在指定的时长内无请求，则释放资源并进入休眠状态，该状态下不会产生费用，当接受到新的请求后，服务会自动恢复到正常状态（约1分钟），但休眠以及恢复过程中，接收的请求无法正常处理。

休眠策略状态说明：