通过AI中台转换模型并下发至边缘 本文介绍如何在AI中台的模型中心导入原始模型,转换成适配NVIDIA Jetson的模型文件,并下发至设备边缘。 前提条件 有一个可测试的边缘节点设备 边缘节点连接至云端 有一个模型,本实验用的是一个 图像分类模型fuild-mobilenceV2.zip 。
基于边缘服务器硬件+AI算法,构建智慧工地解决方案,实现工地的监控告警和闭环处理。 优势 本地快速部署,搭建本地计算单元; 边缘运维平台,支持云边运维、云边数据监控、应用远程下发、远程策略更新; 成熟算法和方案,支持监控告警闭环处理; 对卸料平台、配电箱、危大工程等进行实时监控、现场报警,保证工地安全。 智慧灯杆 传统灯杆功能单一、改造难度大。
边缘端 云端 数值 备注 GPU 编号 1 Name 名称 NVIDIA GeForce RTX 3090 Temp 温度(℃) 38 Pwr 能耗(W) 13.694 Memory-Usage 显存使用情况 52.25 MiB/23.69 GiB 无 GPU使用率 0.22 云端计算值,实际使用显存/显存容量
如下所示: 边缘端与云端指标映射信息如下表所示: 边缘端 云端 数值 备注 无 编号 1 按顺序生成 Name 名称 310 Device 设备 0 Health 状态 OK Temp(C) 温度(℃) 52 Power(W) 能耗(W) 12.8 Memory-Usage(MB) 内存使用情况 2703/8192 无 内存使用率 33.00% 后端计算生成 AICore(%) 算力利用率 0%
如果修改了conf.json文件后,需要重启盒子使其生效。
云服务器BCC 专属服务器DCC GPU云服务器 弹性裸金属服务器 云手机 应用引擎 BAE 轻量应用服务器LS 弹性公网IP 私有网络 VPC 负载均衡 BLB 智能云解析 DNS 专线ET 云智能网 CSN 云防火墙 CFW 对象存储 BOS 文件存储 CFS 云磁盘 CDS 存储网关BSG 边缘计算节点 BEC 数据流转平台CloudFlow 内容分发网络 CDN 海外CDN 动态加速 DRCDN
点击绑定子设备,引入子设备 点击设备右侧的配置 关联接入模版、通道、偏移、采样间隔信息 其中: 关联通道为驱动配置中添加的通道信息 点号最终偏移的最终计算方式参考下图,在此配置的为设备点号偏移,接入模板中配置的为点表点号 采样间隔为边缘侧驱动采集设备点位信息的周期 点击部署软网关,等待相关程序运行起来 查看测点 进入设备详情,查看最新测点值
纯边集群 (Kubernetes Cluster at the Edges) 如下图左侧部分所示,纯边集群是将完整的 Kubernetes 集群部署在边缘(Master 和 Node 均在边缘)。通常适用于需要靠近边缘网络位置的边缘计算场景,让边缘场景下的用户也能获得一致的 Kubernetes 体验。对于节点实例的计算能力有一定要求,需要能够承载 Kubernetes 组件的运行。
GPU资源调度-显存共享 功能说明 GPU显存共享功能主要是为了支持多个边缘AI服务可以运行在 多张GPU卡上 这个特性。当边缘节点上运行多个AI服务的时候,默认情况下,多个AI服务都会运行在GPU卡1上。这样即使边缘节点有多张AI计算卡,也无法动态调用到GPU卡2。使用GPU共享功能,通过设置边缘AI服务的显存容量需求,实现边缘AI服务在多卡之间的动态调度。