将图像分类模型部署至边缘
更新时间:2022-12-01
本文介绍如何在AI中台的模型中心导入原始模型,然后通过模型转换,生成适配通用X86芯片/通用ARM芯片的图像分类模型,并部署至设备边缘。
一、前提条件
- 有一个可测试的边缘节点设备
- 边缘节点连接至云端管控控制台,边缘节点安装可以参考快速入门
- 有一个图像分类模型,本实验用的是一个图像分类模型Image_Classification_Paddle2_MobileNetV2.zip。该模型支持分类识别猴子、鸡、狗、猫等上百种生物。如下图所示:
二、导入模型
打开AI中台控制台,进入模型中心,选中模型管理,如下图所示:
点击导入模型,将提前装备好的模型上传。
基础信息
基础信息
- 导入方式:导入新的模型
- 模型名称:testmodel
- 模型版本:1.0.0.0
模型配置信息
- 构建来源:模型文件构建
- 选择模型:本地上传,上传模型文件:Image_Classification_Paddle2_MobileNetV2.zip
- 模型类型:图像分类
- 模型框架:PaddlePaddle/2.0
- 网络结构:MobileNet/MobileNetV2
模型参数
模型参数使用默认值,为空即可,如下图所示:
配置导入资源
资源池使用一个可用的资源池即可,如下图所示:
检查导入模型
导入完毕以后,返回模型中心,可以看到之前导入的模型,如下图所示:
模型状态为就绪,描述模型导入构建完毕:
三、边缘部署
- 在模型详情界面,下拉至部署信息,找到边缘部署,如下图所示:
- 点击边缘部署,进入到模型部署-边缘部署界面,如下图所示:
- 找到转换参数,点击上传参数文件,选择模型压缩包当中的
preprocessor.json
参数文件,如下图所示
4.找到边缘配置,选择目标节点,如下图所示:
- 选择节点:从下拉框当中选择一个可用的边缘节点,要求边缘节点在线才可以被选中,选中节点以后,自动展示这个节点所对应的硬件架构(amd64、arm64)和操作系统(linux)。边缘安装请参考快速入门。
- 硬件/芯片类型:因为上述节点上报的是amd64架构,所以这里只能选择
通用X86芯片
,如果节点上报的架构是ARM64架构,则此处只能选择通用ARM芯片
- 操作系统:因为上述节点上报的是linux操作系统,所以这里只能选择
linux
- 端口:设置AI服务映射到宿主机的端口。可以点击【查询已占用端口】来查看当前已经使用的端口号,避免端口冲突。
- 其他部署配置:这里设置的KV配置,对应BIE边缘应用配置当中的服务环境变量。
- 在资源配置当中,选择可以的资源池,如下图所示:
四、验证
- 在模型部署——> 边缘部署 列表下,找到刚才创建的边缘部署任务testmodel,如下图所以:
- 我们可以看到边缘部署状态是已完成。点击右边的详情按钮,查看部署详情,如下图所示:
- 节点:test
- 端口:8093
- 部署记录ID: mdp-ppv2gp2hvg07bzjb
- 打开智能边缘界面,找到test节点,查看mdp-ppv2gp2hvg07bzjb应用的部署状态,如下图所示:
可以看到,在智能边缘界面,确实创建了mdp-ppv2gp2hvg07bzjb应用,并部署到了test节点上,并且状态已经是已部署。
- 打开浏览器,输入[边缘节点ip:8093],验证边缘服务是否正常启动,如下图所示:
- 可以看到边缘AI服务已经正常启动,点击添加图片按钮,上传一张测试图片,查看推断结果,如下所示: