公有云部署简介
所有文档

          BML 全功能AI开发平台

          公有云部署简介


          公有云部署即将模型中的模型部署为在线服务,从而以REST API的方式提供推理预测能力。

          公有云部署概要

          模型仓库中的模型与公有云部署即在线服务是一一对应的关系,即模型仓库中一个模型包含多个版本时,这些不同的版本只能部署到同一个在线服务中。

          在线服务当前仅允许一个模型版本处于上线状态,若上线时有其它模型版本在线,则会将当前版本下线并上线新的版本。

          对于在线的模型版本,可以执行扩缩容操作。

          服务状态说明

          服务状态及其含义如下所示:

          模型状态 说明
          运行中 服务运行中,会产生费用,当不适用时请下线模型
          休眠中 不占用计算资源,不会产生费用,当有新的请求流量时,系统会自动将模型置为运行状态
          停止 无运行的模型,不占用资源,不产生费用,无法处理新的预测请求
          更新中 当执行模型版本切换时,服务处于更新中的状态
          部署失败 由于暂无资源、模型文件不正确等导致模型部署失败,从而无法提供预测服务
          模型待编辑 尚未配置资源的模型处于该状态

           

          公有云部署支持的模型类型

          模型仓库中的如下类型的模型支持共有云部署:

          • 来自BML训练任务的模型,包括脚本调参、Notbeook以及自定义作业
          • 对于用户从本地导入的模型,则如下类型的模型支持公有云部署:

            • 框架为PaddlePaddle、TensorFlow、PyTorch的深度学习模型
            • 基于Sklearn、XGBoost的机器学习模型

          服务休眠策略

          服务休眠是指若服务在指定的时长内无请求,则释放资源并进入休眠状态,该状态下不会产生费用,当接受到新的请求后,服务会自动恢复到正常状态(约1分钟),但休眠以及恢复过程中,接收的请求无法正常处理。

          休眠策略状态说明:

          休眠策略状态 说明
          未配置休眠策略,新建的服务默认无休眠策略,处于该状态
          生效中 表示当前休眠策略处于有效期内
          未生效 表示当前尚未进入休眠策略的有效期
          已失效 表示当前时间已超出了休眠策略的有效期
          上一篇
          通用模型部署
          下一篇
          公有云部署