预测服务

在完成应用模型训练之后,可以通过 Infinite 平台 预测服务来部署发布模型预测服务。标准操作步骤如下:

  1. 创建预测模型

    通过创建模型库,用户指定模型数据文件和预测模型的容器镜像。

    预测模型的容器镜像包括:指定机器学习或深度学习框架的的预测部分的系统环境和相关支持库。

  2. 创建模版配置

    模版可以包含多个配置项信息,用来配置云上所需的计算集群资源和服务策略。例如:部署多个实例版本。当您指定两个或更多配置项时,可以为每个配置项选择比重,通过设置不同比重,实现A/B测试功能。

  3. 创建端点

    根据模型应用的需求,合理的配置调度服务资源,搭建部署高可用的在线预测集群服务。

    标准操作流程图:

    图片

逻辑对象关系描述图:

图片