预测服务
所有文档

          全功能AI开发平台 BML

          预测服务

          预测服务旨在将用户的“模型”以 Web Server 的方式运行起来,提供预测功能,目前只支持Https访问方式。系统将给成功运行的预测服务分配一个访问地址,用户可以通过该“访问地址”访问预测服务。

          创建预测服务的前提是,导入训练好的模型到模型仓库,具体方式参考模型仓库部分。

          创建在线预测服务

          在完成模型训练、发布到模型仓库之后,可以通过BML平台在线预测服务功能模块来部署在线预测服务。

          在导航栏“预测服务”->“在线预测”页面里点击“新建在线预测”。弹框页面上选择“创建新服务”,并填写相关参数,点击确定。

          01-newservice.png

          参数说明:

          创建方式:可选择创建一个新的预测服务,也可以在原有的预测服务上添加新版本。

          服务名称:预测服务的名称

          服务版本:预测服务版本号

          模型:如果选择是,意味着选择模型仓库内的模型来创建预测服务,如果选择否,意味着选择自定义镜像来创建预测服务。目前默认使用模型仓里内的模型创建预测服务,系统会根据使用的模型进行自动匹配服务类型。

          比重:平台会根据比重来分配流量,用于多个版本的AB Test。如果预测服务只有一个版本,无论比重为多少,流量都是100%;如果有多个版本,会根据比重分配流量,比如两个版本比重分别为3和7,会按照3:7的比例,分别给两个版本分配30%和70%的流量。

          运行副本数:预测服务可以包含多个副本,每个副本都是等价的,保证服务的高可用。副本数增加,计费正比增加。

          如果想要在某预测服务上增加版本,可以点击操作中的『增加版本』。

          03-addserviceversion.png

          然后会打开『增加在线预测版本』弹窗,填写一个新的四位版本号,选择新的模型,设定比重、计算资源和副本数,点击确定即可添加新版本。

          04-addVersionService.png

          预测服务列表

          预测服务列表信息由历史提交预测服务组成,显示服务的基本信息。

          如图,在预测服务列表页支持以下操作:

          02-inferList.png

          增加版本:在某一服务基础上增加新的版本,即创建页的创建为已有服务的新版本。

          查看服务质量:查看服务的PV、处理总时间、总流量、访问数成功占比等服务质量信息。

          停止:停止预测服务,用户不再使用相关服务后可进行这一操作,停止后将不进行计费。

          重启:对已停止或创建失败的服务进行重新创建,恢复对应的服务为可用状态。

          测试:通过界面的方式输入需要预测的数据,测试对应的预测结果是否符合预期。

          删除:删除对应的预测服务,删除后不可再恢复,对应的记录也会被删除,无法查询。需要服务处于已停止、创建失败等状态才能进行删除操作。

          在线调试

          服务创建成功后,可以点击『测试』对预测服务进行调试。

          10-test.png

          预测服务详情

          完成预测服务创建之后,点击服务名称,进入服务详情。分为两个可切换的标签,基本信息和服务质量。

          服务质量显示了:PV(预测请求数)、处理总时间、总流量、访问数成功占比。中间折线图/条形图包括:每个时间点的PV、总流量(sumTraffic)、平均每个请求流量(avgTraffic)、总处理时间(sumHandleTime)、平均每个请求处理时间(avgHandleTime)。中间饼形图包含:每个时间点的状态码 5xx(status5Proportion)、4xx (status4Proportion)、3xx(status3Proportion)、2xx(status2Proportion)占比。支持根据时间查询相应的数据情况。

          11-serviceQuality.png

          基本信息包含了日志路径、访问地址和版本列表。

          版本列表展示了多个版本的详情:状态、模型文件、资源套餐、流量占比、服务类型、期望和实际运行实例数、操作。

          05-versionList.png

          如果状态为异常,说明实际运行副本数少于期望运行副本数。状态为运行中或者异常的副本会参与计费。

          点击编辑可以对预测服务进行修改,包括更改模型、各版本流量配比、资源套餐和运行副本数等等。要求高可用,可以适当增加副本数,计算量大的可以更换更高性能套餐,想要调整AB Test流量占比,可以通过修改比重调整。

          06-editVersion.png

          如果需要回滚,点击配置历史,展开配置历史弹窗,选择某一个历史时间的配置,点击『恢复』即可完成回滚。

          07-rollback.png

          版本详情

          在版本列表,点击某服务版本的版本号,可以展开该版本服务的详情,详情包括服务基本信息和副本信息

          08-VersionDetails.png

          副本详情

          点击版本详情页的副本ID,可以进入到副本详情页查看副本信息和容器列表。

          09-containerDetails.png

          容器详情

          点击容器名称,在浏览器新标签页展示了容器详情,其中主要是容器日志,包括了容器运行过程中的stdout和stderr输出,可以通过页面上的按钮进行翻页。

          12-containerLog.png

          上一篇
          模型仓库
          下一篇
          项目管理