EdgeBoard人体关键点软硬一体方案说明

更新时间：2024-05-16

1 简介
1.1 人体关键点识别说明
1.2 开发管理平台功能说明
1.3 硬件接口说明
2 使用步骤
2.1 连接设备
2.2 登录管理平台
2.3 查看预置模型
2.4 添加摄像头
2.5 添加任务
3 系统设置
4 HTTP结果回调
5 HTTP模型推理服务接口

简介

EdgeBoard软硬一体方案，是以EdgeBoard边缘AI计算盒为底座，WEB开发管理平台为控制中心，专项适配百度自研算法，并深度兼容AI开发平台EasyDL和开源深度学习平台PaddlePaddle，支持模型在线效果验证，外接显示器实时显示渲染结果，同时，支持HTTP回调和HTTP模型推理服务，可接入USB摄像头和RTSP网络摄像头，硬件接口丰富，支持二次开发。

人体关键点软硬一体方案，预置人体关键点算法，可离线本地化部署，可用于行为分析，检测图像中的人体并返回人体矩形框位置，精准定位21个核心关键点，包含头顶、五官、颈部、四肢主要关节部位，支持多人检测、大动作等复杂场景。

人体关键点识别说明

对于输入的一张图片（可正常解码，且长宽比适宜），检测图片中的所有人体，输出每个人体的21个主要关键点，包含头顶、五官、脖颈、四肢等部位，同时输出人体的坐标信息和数量。

21个主要关键点的位置：头顶、左眼、右眼、左耳、右耳、左嘴角、右嘴角、鼻子、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝、右脚踝。

支持多人检测、人体位置重叠、遮挡、背面、侧面、中低空俯拍、大动作等复杂场景。

软硬一体方案的算法精度可参考云端接口，人体关键点功能体验： https://ai.baidu.com/tech/body/pose

开发管理平台功能说明

Edgeboard内置可视化开发管理平台，支持web页面进行总览、摄像头管理、模型管理、任务管理、系统设置等操作。

功能	描述
总览	支持实时查看设备内存、CPU和存储空间的资源剩余情况，以及当前添加的模型、摄像头和任务情况。
模型管理	支持PaddlePaddle模型、Easydl的图像分类和物体检测模型以及其他Edgeboard模型的添加和管理，支持在线效果验证
摄像头管理	支持USB摄像头、RTSP网络摄像头的添加和管理，在线校验视频流地址，支持画面预览
任务管理	支持添加数据采集任务、Paddle模型视频分析、EasyDL模型视频分析和EdgeBoard SDK视频分析等任务，支持画面预览，支持任务的开启和关闭。
系统设置	支持设备信息的显示、系统时间的修改、软件版本升级、以太网设置和Wi-Fi网络设置、恢复出厂设置、重启等功能。
HTTP回调	支持将视频流任务或者采集任务结果通过HTTP协议推送到指定地址，方便客户进行二次开发。
HTTP模型推理服务	支持调用HTTP服务接口传入图片，EdgeBoard再将分析结果回传至HTTP客户端。

硬件接口说明

更多硬件介绍请参考EdgeBoard基础硬件使用说明

使用步骤

以下仅以人体关键点软硬一体方案的常规操作进行演示，更多使用方式请参考EdgeBoard开发管理平台使用说明

人体关键点软硬一体方案，预置了人体检测模型以及人体关键点模型，可以直接添加摄像头和任务，开启AI识别，大体操作流程如下：【连接软硬一体设备】----> 【登录开发管理平台】----> 【查看预置模型】----> 【添加摄像头】----> 【添加任务】----> 【开始预测】

连接设备

将设备通过网线连接电脑（直连电脑或者通过路由器），设备的网络参数为：ip=192.168.1.254，子网掩码=255.255.255.0，网关=192.168.1.1。保证设备和电脑在同一网段，如果是直连电脑可以将电脑设置成固定IP。

电脑端网络配置可参考网络配置

登录管理平台

在浏览器中输入开发管理平台首页地址，即可显示登录页面，登录完成后进入管理页面。

开发管理平台首页地址：http://ip:9876/ 出厂默认：http://192.168.1.254:9876/

开发管理平台账号：admin，初始密码：admin

进入系统

查看预置模型

查看模型管理页面，人体关键点软硬一体设备中，包含人体检测模型和人体关键点模型。

注意：模型管理页面的【效果验证】仅提供单模型的推理效果

添加摄像头

EdgeBoard开发管理平台支持USB摄像头和RTSP摄像头两种类型，用户可根据使用场景进行选择。

添加USB摄像头

先将USB摄像头插到EdgeBoard上再在页面中添加对应的摄像头，此时，点击【选择摄像头】右边框的箭头，下拉框会自动弹出当前设备上已插入的USB摄像头节点，并采集一张当前图片，点击待添加的摄像头，确定。

添加网络摄像头

保证EdgeBoard和网络摄像头的网络互通的状态下，添加网络摄像头，摄像头类型选择网络摄像头，输入视频流地址后，点击右侧的【校验】按钮，如果出现对勾，证明视频流地址（RTSP流地址）填写正确，并能够正常采集到图片。校验成功后点击确定，在管理页面就可以看到已添加的摄像头。

SN码为您的摄像头设备唯一ID（选填）。

添加任务

EdgeBoard开发管理平台支持添加不同功能的任务，例如可以添加数据采集任务，视频分析任务等。以视频任务为例

选择任务类型

选择任务类型选择EdgeBoard算法，关键点检测

任务配置

配置与paddle模型类似，带“*”为必填项，确定需要部署的模型和对应的摄像头，以及模型推理的帧率，其余按需填写即可。

画面框定

画面框定是指在检测区域中框定一个闭合区域，后续只识别框定区域内的物体。在人体关键点软硬一体设备中，画面框定功能可选。不需要画面框定时，直接确认即可。

注：画面框定最多可以绘制10个分析区域

启动任务

pose_task

画面预览

外接显示器

EdgeBoard提供视频输出接口miniDP，可以外接显示器（如果是HDMI接口的显示器，需要使用主动式miniDP转HDMI转换线，接口输出参考链接），在上电状态下插入显示器时，首次点击【外接显示器】的开关按钮后，需要重启设备。

一般情况下，显示器显示的视频帧率为创建任务时设置的帧率，当设置的帧率大于设备实际能够处理的帧率时，设备会以最大处理速率显示，渲染画面和系统中【画面预览】相同。

更多任务管理设置请参考EdgeBoard开发管理平台使用说明

系统设置

系统设置请参考EdgeBoard开发管理平台使用说明-系统设置

HTTP结果回调

说明

当用户需要获取EdgeBoard的分析结果时，EdgeBoard开发管理平台支持将视频流任务结果通过HTTP协议推送到指定地址，方便客户进行二次开发。

HTTP回调方式：EdgeBoard ----- post -----> 用户服务器

EdgeBoard <------ response---- 用户服务器

HTTP回调接口：http://ip:port/xxxxxxx 。该接口由用户定义，不做固定格式要求。

回调功能设置

添加任务时，可设置回调功能

回调状态：勾选【启用】会开启回调功能；勾选【禁用】会关掉回调功能；

回调地址：用户实际回调服务地址（图中地址仅作展示），开启回调后，设备会将结果数据发送至该地址；

回调条件：回调结果支持基于模型标签（label）进行条件筛选，增加回调条件后，服务器就会得到筛选后的数据；

回调图片：回调图片仅指回调参数中“background”的返回值，【原图】指返回的background为不带渲染的base64图片，【原图+渲染】指返回的background为不带渲染的base64图片，【无图片】则回调结果中不返回background参数。由于回调中返回图片会占用大量的资源和带宽，实际使用时推荐选择【无图片】选项。

人体关键点数据返回格式

                JSON
                
            

                //人体关键点
{
    "background":"",
    "camera_id":3,
    "camera_name":"10",
    "camera_sn":"",
    "fence_data":[
        {
            "coordinates":[
                [
                    0.33603707995365,
                    0.0323805845242693
                ],
                [
                    0.32792584009269987,
                    0.9696794129007338
                ],
                [
                    0.9826187717265353,
                    0.9882193897257627
                ],
                [
                    0.9687137891077636,
                    0.013840607699240337
                ]
            ],
            "id":5,
            "name":"area"
        }
    ],
    "height":1080,
    "models_id":[
        5
    ],
    "result_data":[
        {
            "extended":{
                "left_ankle":{
                    "lable":"left_ankle",
                    "score":8.4041109085083,
                    "x":1568.7294921875,
                    "y":989.484375
                },
                "left_ear":{
                    "lable":"left_ear",
                    "score":52.639060974121094,
                    "x":1848.4658203125,
                    "y":859.4892578125
                },
                "left_elbow":{
                    "lable":"left_elbow",
                    "score":50.125,
                    "x":1627.9677734375,
                    "y":810.1240234375
                },
                "left_eye":{
                    "lable":"left_eye",
                    "score":23.13203239440918,
                    "x":1894.5400390625,
                    "y":866.0712890625
                },
                "left_hip":{
                    "lable":"left_hip",
                    "score":131.25938415527344,
                    "x":1884.6669921875,
                    "y":1027.3310546875
                },
                "left_knee":{
                    "lable":"left_knee",
                    "score":115.63125610351562,
                    "x":1700.3701171875,
                    "y":1037.2041015625
                },
                "left_mouth_corner":{
                    "lable":"left_mouth_corner",
                    "score":15.035351753234863,
                    "x":1894.5400390625,
                    "y":951.6376953125
                },
                "left_shoulder":{
                    "lable":"left_shoulder",
                    "score":17.87299919128418,
                    "x":1674.0419921875,
                    "y":708.1025390625
                },
                "left_wrist":{
                    "lable":"left_wrist",
                    "score":11.080322265625,
                    "x":1670.7509765625,
                    "y":918.7275390625
                },
                "neck":{
                    "lable":"neck",
                    "score":38.607810974121094,
                    "x":1910.9951171875,
                    "y":869.3623046875
                },
                "nose":{
                    "lable":"nose",
                    "score":27.00547218322754,
                    "x":1851.7568359375,
                    "y":898.9814453125
                },
                "right_ankle":{
                    "lable":"right_ankle",
                    "score":15.68470573425293,
                    "x":1920,
                    "y":777.2138671875
                },
                "right_ear":{
                    "lable":"right_ear",
                    "score":55.51250076293945,
                    "x":1845.1748046875,
                    "y":872.6533203125
                },
                "right_elbow":{
                    "lable":"right_elbow",
                    "score":26.020702362060547,
                    "x":1841.8837890625,
                    "y":810.1240234375
                },
                "right_eye":{
                    "lable":"right_eye",
                    "score":23.848634719848633,
                    "x":1910.9951171875,
                    "y":997.7119140625
                },
                "right_hip":{
                    "lable":"right_hip",
                    "score":109.59062194824219,
                    "x":1851.7568359375,
                    "y":1010.8759765625
                },
                "right_knee":{
                    "lable":"right_knee",
                    "score":59.338279724121094,
                    "x":1713.5341796875,
                    "y":1040.4951171875
                },
                "right_mouth_corner":{
                    "lable":"right_mouth_corner",
                    "score":15.80195426940918,
                    "x":1858.3388671875,
                    "y":945.0556640625
                },
                "right_shoulder":{
                    "lable":"right_shoulder",
                    "score":43.55937576293945,
                    "x":1772.7724609375,
                    "y":708.1025390625
                },
                "right_wrist":{
                    "lable":"right_wrist",
                    "score":38.95429992675781,
                    "x":1855.0478515625,
                    "y":875.9443359375
                },
                "top_head":{
                    "lable":"top_head",
                    "score":9.510705947875977,
                    "x":1904.4130859375,
                    "y":800.2509765625
                }
            },
            "image_data":"",
            "score":0.3517540991306305,
            "x0":0.8561185598373413,
            "x1":0.9994791746139526,
            "y0":0.6872234344482422,
            "y1":0.9990741014480591
        },
        {
            "extended":{
                "left_ankle":{
                    "lable":"left_ankle",
                    "score":8.658203125,
                    "x":1686.310546875,
                    "y":993.197265625
                },
                "left_ear":{
                    "lable":"left_ear",
                    "score":265.3000183105469,
                    "x":1681.955078125,
                    "y":736.224609375
                },
                "left_elbow":{
                    "lable":"left_elbow",
                    "score":211.63125610351562,
                    "x":1472.892578125,
                    "y":967.064453125
                },
                "left_eye":{
                    "lable":"left_eye",
                    "score":73.33906555175781,
                    "x":1668.888671875,
                    "y":718.802734375
                },
                "left_hip":{
                    "lable":"left_hip",
                    "score":43.66719055175781,
                    "x":1721.154296875,
                    "y":919.154296875
                },
                "left_knee":{
                    "lable":"left_knee",
                    "score":89.99687957763672,
                    "x":1468.537109375,
                    "y":967.064453125
                },
                "left_mouth_corner":{
                    "lable":"left_mouth_corner",
                    "score":38.50410461425781,
                    "x":1638.400390625,
                    "y":779.779296875
                },
                "left_shoulder":{
                    "lable":"left_shoulder",
                    "score":118.64688110351562,
                    "x":1655.822265625,
                    "y":853.822265625
                },
                "left_wrist":{
                    "lable":"left_wrist",
                    "score":34.13984680175781,
                    "x":1594.845703125,
                    "y":949.642578125
                },
                "neck":{
                    "lable":"neck",
                    "score":151.09376525878906,
                    "x":1747.287109375,
                    "y":818.978515625
                },
                "nose":{
                    "lable":"nose",
                    "score":64.234375,
                    "x":1668.888671875,
                    "y":736.224609375
                },
                "right_ankle":{
                    "lable":"right_ankle",
                    "score":10.692383766174316,
                    "x":1490.314453125,
                    "y":940.931640625
                },
                "right_ear":{
                    "lable":"right_ear",
                    "score":197.01876831054688,
                    "x":1764.708984375,
                    "y":723.158203125
                },
                "right_elbow":{
                    "lable":"right_elbow",
                    "score":60.609375,
                    "x":1843.107421875,
                    "y":797.201171875
                },
                "right_eye":{
                    "lable":"right_eye",
                    "score":57.22187423706055,
                    "x":1668.888671875,
                    "y":731.869140625
                },
                "right_hip":{
                    "lable":"right_hip",
                    "score":30.068750381469727,
                    "x":1577.423828125,
                    "y":847.2890625
                },
                "right_knee":{
                    "lable":"right_knee",
                    "score":32.05547332763672,
                    "x":1477.248046875,
                    "y":967.064453125
                },
                "right_mouth_corner":{
                    "lable":"right_mouth_corner",
                    "score":44.23788833618164,
                    "x":1638.400390625,
                    "y":779.779296875
                },
                "right_shoulder":{
                    "lable":"right_shoulder",
                    "score":26.766407012939453,
                    "x":1843.107421875,
                    "y":797.201171875
                },
                "right_wrist":{
                    "lable":"right_wrist",
                    "score":15.72343635559082,
                    "x":1725.509765625,
                    "y":919.154296875
                },
                "top_head":{
                    "lable":"top_head",
                    "score":258.20001220703125,
                    "x":1721.154296875,
                    "y":640.404296875
                }
            },
            "image_data":"",
            "score":0.20987997949123383,
            "x0":0.7509458661079407,
            "x1":0.9768182635307312,
            "y0":0.5868204236030579,
            "y1":0.9990741014480591
        }
    ],
    "task_id":5,
    "task_name":"关键点",
    "task_type":"eb::humanpose",
    "time":1652951298068,
    "width":1920
}
            

HTTP模型推理服务接口

人体关键点的模型推理服务接口与开发管理平台接口使用方法相同，推理结果与可视化页面模型管理中的效果验证结果相同。

HTTP模型推理服务接口使用请参考EdgeBoard开发管理平台使用说明-HTTP模型推理服务接口

百度智能云

度目软硬一体 DUMU