NVIDIA Jetson专用模型部署-进程模式
更新时间:2021-10-11
利用进程模式部署
这部分教程介绍如何用进程模式下发程序和模型。
程序在边缘运行的命令为:./easyedge_serving /home/nano/Downloads/easydl-sdk/RES "E60A-5124-5ACD-3C9B" 0.0.0.0 24401
Step1 制作程序包
进程应用创建没有镜像,由程序包代替。程序包由对应平台的可执行文件和可执行文件的entry组成。
在本demo中,easyedge_serving为NIVIDIA Jetson nano的可执行文件。该文件在sdk文件的 /demo/build目录中。
program.yml为可执行文件entry配置,内容为:
将这两个文件压缩成zip文件并上传到对象存储中。
Step2 添加程序包配置项
Step3 添加模型文件
将模型文件RES上传至对象存储。在BIE配置项中引入。
Step4 创建进程应用
添加进程服务。将模型以卷的形式添加到服务中。这里的目录填的是工作目录下的相对路径。 工作目录:/var/lib/baetyl/run/baetyl-edge/atlas-native-test/1631601551nykfkx/atlas-native-test/1/
添加启动参数如下:
Step5 创建对应节点并将应用部署到节点上
Step6 进程模式安装节点
Step 7 验证边缘节点AI推断服务
通过浏览器打开在线推断服务:http://「ip」 :24401/,上传测试图片,推断结果如下,证明AI服务正常启动。