模版配置库

模板配置:是定义预测服务运行内容的一组配置项信息。
模版配置信息包括选择使用预测模型、每个模型配置版本需要的资源类型(例如:GPU或CPU 套餐)、计划部署的实例数量、和模型配置项间的流量配比。预测服务可以使用多个版本的模型,定义成不同配置项,实现流量分流和A/B Test。

新建模版配置

1、在导航列选择 “预测” -> “模版配置库”,页面显示模版配置信息列表。

图片

2、点击 “新建模版”,填写模版名称,点击“新建配置”,进入新建配置流程。

图片

(1)填写“配置名称”,注意同一模版内的配置名称不能重复,一个模版可以配置多个配置项,默认支持10个;
(2) 选择“模型文件类型”和“模型文件”,根据需要可以选择用户自定义模型或系统模型;
(3) 选择“资源套餐”:选择运行每个实例所需的资源,CPU 或者 GPU 类型,内存大小;
(4) 设定“比重”,表示预测请求在不同配置项对应的模型实例之间的分配比例。使用这个功能,用户可以很方便的执行A/B测试并实现新版本的灰度上线;
(5) 选择“运行实例数量”。
(6) 点击“确定”,完成 配置项 创建。

图片

  • 如模版中仅有一个配置项,系统默认比重是100%。
  • 如果有两个模型配置项,系统会根据您在不同配置项设定的比重,来计算预测请求在这两个模型配置项之间的分配比例。
    例如:配置项 1(A版本) 的比重设置为 “9”,配置项 2 (B版本)的比重设置为”1”,那么预测运行时运行时请求会把 90% = 9/(9+1) 的总预测请求传给配置1 对应运行的多个模型实例, 而把 10% = 1/(9+1) 的总预测请求发送给配置2 对应运行的多个模型实例。
  • 可通过逐步增加配置项 2(B版本)的比重实现灰度上线。

图片

3、点击“确定”,完成模版创建。

模版配置维护

创建成功后,可对模版库 进行如下维护管理操作:

  • 用模版新建端点:进入“新建端点”界面,基于选定的模版,进行新建端点操作。
  • 编辑模板:可以编辑配置项信息,包括新建配置项和编辑已经创建的配置项。
  • 删除模板:删除该条模版配置。
  • 编辑配置项:可以修改配置项名称、模型文件、资源套餐、比重和运行实例数量。
  • 删除配置项:删除该条配置项。