QPS监控
更新时间:2023-03-28
概述
在边缘计算场景下,用户部署边缘应用后,可在边缘端通过「服务名+端口号」或「IP+端口号」的方式访问边缘服务,尤其是AI服务。
QPS监控是为了监控边缘服务的调用情况,方便用户对已部署服务的调用信息进行查看。下面介绍开启边缘服务QPS监控的具体操作步骤。
操作步骤
1. 创建节点
创建边缘节点,可参考节点创建相关文档,创建完成如图所示:
2. 创建应用
创建包含2个模型的边缘应用,如下图所示:
- 容器1:通过8088端口对外提供服务,是一个图像分类AI服务
- 容器2:通过8010端口对外提供服务,是一个手写字识别AI服务
- 应用创建时,在"服务访问量监控"处,要选择"是"
3. 部署应用至边缘节点
应用创建完成后,关联步骤1中创建的节点,在目标节点处,选择单节点匹配,勾选步骤1中创建的节点,效果如图所示:
应用成功关联节点后,效果如下:
同时在节点界面,也可看到关联的应用:
4. 安装监控插件
在节点界面的应用部署界面,点击最下方的服务访问量监控,在弹出的对话框中复制监控插件的安装链接,
在需要部署边缘服务的边缘设备上执行安装命令,安装完成后,可以看到插件正常运行,效果如下:
安装后效果如下所示:
parallels@parallels-Parallels-Virtual-Platform:~$ kubectl get po -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system metrics-server-7566d596c8-whmd4 1/1 Running 0 15m
kube-system coredns-7944c66d8d-hkkrm 1/1 Running 0 15m
default webhook-cert-setup-tcnm2 0/1 Completed 0 13m
default baetyl-webhook-deployment-db7d6f94-6bbk8 1/1 Running 0 12m
baetyl-edge-system baetyl-init-7b794bd8d4-76cct 1/1 Running 0 4m26s
baetyl-edge-system baetyl-core-vruynb6f2-686876bb76-smfdj 1/1 Running 0 3m53s
baetyl-edge-system baetyl-broker-ccglif8uw-54c58b4dc8-4c4wd 1/1 Running 0 3m42s
baetyl-edge-system baetyl-agent-3me3dbyr8-ght6v 1/1 Running 0 3m41s
baetyl-edge qps-test-0216-02-5df6bcd46c-8b8rh 3/3 Running 0 3m17s
5. 服务访问
应用跟随节点部署后,可在边缘端按照原来的方式访问服务,访问方式无需变化。如通过端口8088访问服务1,通过端口8010访问服务2,效果如下:
- 服务1访问:直接通过浏览器访问,http://localhost:8088
- 服务2访问:通过curl命令调用API,
curl 127.0.0.1:8010/v1/models/tf-serving:predit -x POST -d@test.json
6. QPS信息查看
- 边缘端
边缘端可通过浏览器或api查看服务调用统计,请求地址为:「http://ip:port/status」 ,如下图所示:
- 云端
云端可以在节点信息->应用部署->服务状态下查看部署服务的QPS信息,效果如下:
- Q:为服务启动以后的累计访问量。
- QPS:为上报间隔内的服务访问量,默认上报间隔为20秒。