百度机器学习BML

    预测服务

    预测服务旨在将用户的“模型”以 Web Server 的方式运行起来,提供预测功能,目前只支持Https访问方式。系统将给成功运行的预测服务分配一个访问地址,用户可以通过该“访问地址”访问预测服务。

    创建预测服务的前提是,导入训练好的模型到模型仓库,具体方式参考模型仓库部分。

    创建在线预测服务

    在完成模型训练、发布到模型仓库之后,可以通过BML平台在线预测服务功能模块来部署在线预测服务。

    在导航栏“预测服务”->“在线预测”页面里点击“新建在线预测”。弹框页面上选择“创建新服务”,并填写相关参数,点击确定。

    01-newservice.png

    参数说明:

    创建方式:可选择创建一个新的预测服务,也可以在原有的预测服务上添加新版本。

    服务名称:预测服务的名称

    服务版本:预测服务版本号

    模型:如果选择是,意味着选择模型仓库内的模型来创建预测服务,如果选择否,意味着选择自定义镜像来创建预测服务。目前默认使用模型仓里内的模型创建预测服务,系统会根据使用的模型进行自动匹配服务类型。

    比重:平台会根据比重来分配流量,用于多个版本的AB Test。如果预测服务只有一个版本,无论比重为多少,流量都是100%;如果有多个版本,会根据比重分配流量,比如两个版本比重分别为3和7,会按照3:7的比例,分别给两个版本分配30%和70%的流量。

    运行副本数:预测服务可以包含多个副本,每个副本都是等价的,保证服务的高可用。副本数增加,计费正比增加。

    如果想要在某预测服务上增加版本,可以点击操作中的『增加版本』。

    03-addserviceversion.png

    然后会打开『增加在线预测版本』弹窗,填写一个新的四位版本号,选择新的模型,设定比重、计算资源和副本数,点击确定即可添加新版本。

    04-addVersionService.png

    预测服务列表

    预测服务列表信息由历史提交预测服务组成,显示服务的基本信息。

    如图,在预测服务列表页支持以下操作:

    02-inferList.png

    增加版本:在某一服务基础上增加新的版本,即创建页的创建为已有服务的新版本。

    查看服务质量:查看服务的PV、处理总时间、总流量、访问数成功占比等服务质量信息。

    停止:停止预测服务,用户不再使用相关服务后可进行这一操作,停止后将不进行计费。

    重启:对已停止或创建失败的服务进行重新创建,恢复对应的服务为可用状态。

    测试:通过界面的方式输入需要预测的数据,测试对应的预测结果是否符合预期。

    删除:删除对应的预测服务,删除后不可再恢复,对应的记录也会被删除,无法查询。需要服务处于已停止、创建失败等状态才能进行删除操作。

    在线调试

    服务创建成功后,可以点击『测试』对预测服务进行调试。

    10-test.png

    预测服务详情

    完成预测服务创建之后,点击服务名称,进入服务详情。分为两个可切换的标签,基本信息和服务质量。

    服务质量显示了:PV(预测请求数)、处理总时间、总流量、访问数成功占比。中间折线图/条形图包括:每个时间点的PV、总流量(sumTraffic)、平均每个请求流量(avgTraffic)、总处理时间(sumHandleTime)、平均每个请求处理时间(avgHandleTime)。中间饼形图包含:每个时间点的状态码 5xx(status5Proportion)、4xx (status4Proportion)、3xx(status3Proportion)、2xx(status2Proportion)占比。支持根据时间查询相应的数据情况。

    11-serviceQuality.png

    基本信息包含了日志路径、访问地址和版本列表。

    版本列表展示了多个版本的详情:状态、模型文件、资源套餐、流量占比、服务类型、期望和实际运行实例数、操作。

    05-versionList.png

    如果状态为异常,说明实际运行副本数少于期望运行副本数。状态为运行中或者异常的副本会参与计费。

    点击编辑可以对预测服务进行修改,包括更改模型、各版本流量配比、资源套餐和运行副本数等等。要求高可用,可以适当增加副本数,计算量大的可以更换更高性能套餐,想要调整AB Test流量占比,可以通过修改比重调整。

    06-editVersion.png

    如果需要回滚,点击配置历史,展开配置历史弹窗,选择某一个历史时间的配置,点击『恢复』即可完成回滚。

    07-rollback.png

    版本详情

    在版本列表,点击某服务版本的版本号,可以展开该版本服务的详情,详情包括服务基本信息和副本信息

    08-VersionDetails.png

    副本详情

    点击版本详情页的副本ID,可以进入到副本详情页查看副本信息和容器列表。

    09-containerDetails.png

    容器详情

    点击容器名称,在浏览器新标签页展示了容器详情,其中主要是容器日志,包活了容器运行过程中的stdout和stderr输出,可以通过页面上的按钮进行翻页。

    12-containerLog.png

    上一篇
    模型仓库
    下一篇
    项目管理