进程模式部署NVIDIA Jetson专用模型
所有文档

          智能边缘 BIE

          进程模式部署NVIDIA Jetson专用模型

          利用进程模式部署

          这部分教程介绍如何用进程模式下发程序和模型。

          程序在边缘运行的命令为:./easyedge_serving /home/nano/Downloads/easydl-sdk/RES "E60A-5124-5ACD-3C9B" 0.0.0.0 24401

          Step1 制作程序包

          进程应用创建没有镜像,由程序包代替。程序包由对应平台的可执行文件和可执行文件的entry组成。

          在本demo中,easyedge_serving为NIVIDIA Jetson nano的可执行文件。该文件在sdk文件的 /demo/build目录中。

          program.yml为可执行文件entry配置,内容为:

          image.png

          将这两个文件压缩成zip文件并上传到对象存储中。

          Step2 添加程序包配置项

          image.png

          Step3 添加模型文件

          将模型文件RES上传至对象存储。在BIE配置项中引入。

          image.png

          Step4 创建进程应用

          添加进程服务。将模型以卷的形式添加到服务中。目录工作目录下的相对路径。

          image.png

          添加启动参数如下:

          image.png

          Step5 创建对应节点并将应用部署到节点上

          image.png

          Step6 进程模式安装节点

          image.png

          Step 7 验证边缘节点AI推断服务

          通过浏览器打开在线推断服务:http://「ip」 :24401/,上传测试图片,推断结果如下,证明AI服务正常启动。

          image.png

          上一篇
          kube模式部署NVIDIA Jetson专用模型
          下一篇
          将BML模型部署至边缘节点