简介

本文档介绍物体检测服务器端Windows SDK的使用方法。

• 硬件支持：

  • NVIDIA GPU （普通版，加速版）

• 操作系统支持

  • 64位 Windows 7 及以上
  • 64位 Windows Server 2012及以上

• 环境依赖（必须安装以下版本）

  • .NET Framework 4.5
  • Visual C++ Redistributable Packages for Visual Studio 2013
  • Visual C++ Redistributable Packages for Visual Studio 2015

• GPU基础版（EasyEdge-win-x86-nvidia-gpu）依赖（必须安装以下版本）

  • CUDA 11.0.x + cuDNN 8.4.x(注意参照英伟达安装文档安装Zlib：http://www.winimage.com/zLibDll/zlib123dllx64.zip， 解压后将dll_x64/zlibwapi.dll 拷贝到cuda的bin目录下) + 硬件计算能力(https://developer.nvidia.com/cuda-gpus#compute)达6.1及以上
  • CUDA 12.0.x + cuDNN 8.9.x(注意参照英伟达安装文档安装Zlib) + 硬件计算能力达7.5及以上

• GPU加速版（EasyEdge-win-x86-nvidia-gpu-tensorrt）依赖（必须安装以下版本）

  • CUDA 11.0.x + cuDNN 8.4.x(注意参照英伟达安装文档安装Zlib) + TensorRT 8.4.x.x
  • CUDA 12.0.x + cuDNN 8.9.x(注意参照英伟达安装文档安装Zlib) + TensorRT 8.6.x.x

• GPU加速版（EasyEdge-win-x86-nvidia-gpu-paddletrt）依赖（必须安装以下版本）

  • CUDA 11.0.x + cuDNN 8.4.x(注意参照英伟达安装文档安装Zlib) + TensorRT 8.4.3.1 + 硬件计算能力达6.1及以上
  • CUDA 12.0.x + cuDNN 8.9.x(注意参照英伟达安装文档安装Zlib) + TensorRT 8.6.1.6 + 硬件计算能力达7.5及以上

• GPU加速版（x86-nvidia-gpu-torch)

  • CUDA 11.0.x + cuDNN 8.0.5.x

• 协议

  • HTTP
• 更详细的环境说明可参考SDK内的
  README.md

Release Notes

快速开始

1. 安装依赖

安装.NET Framework4.5

https://www.microsoft.com/zh-CN/download/details.aspx?id=42642

Visual C++ Redistributable Packages for Visual Studio 2013

https://www.microsoft.com/zh-cn/download/details.aspx?id=40784

Visual C++ Redistributable Packages for Visual Studio 2015

https://www.microsoft.com/zh-cn/download/details.aspx?id=48145

如果使用GPU版SDK，请安装CUDA + cuDNN

https://developer.nvidia.com/cuda
https://developer.nvidia.com/cudnn 

如果使用GPU版加速版SDK，请安装TensorRT

https://developer.nvidia.com/tensorrt

根据cuda版本下载，下载后把lib目录下的所有dll，拷贝到SDK的dll目录下

注意事项

1. 安装目录不能包含中文
2. Windows Server 请自行开启，选择“我的电脑”——“属性”——“管理”——”添加角色和功能“——勾选”桌面体验“，点击安装，安装之后重启即可。

2. 运行离线SDK

解压下载好的SDK，SDK默认使用cuda9版本，如果需要cuda10请运行EasyEdge CUDA10.0.bat切换到cuda10版本，之后打开EasyEdge.exe，选择鉴权模式，输入Serial Num，点击"启动服务"，等待数秒即可启动成功，本地服务默认运行在

http://127.0.0.1:24401/

其他任何语言只需通过HTTP调用即可。

如启动失败，可参考如下步骤排查：

2.1 离线鉴权（默认鉴权模式）

首次联网激活，后续离线使用

2.2 按实例数鉴权

周期性联网激活，离线后会释放所占用鉴权，启动时请确保心跳间隔小于等于生成序列号时填写的定期确认时间

基于源码集成时，若需要按实例数鉴权，需要通过代码指定使用按实例数鉴权

global_controller()->set_config(easyedge::params::CONTROLLER_KEY_AUTH_MODE, 2);
global_controller()->set_config(easyedge::params::CONTROLLER_KEY_INSTANCE_UPDATE_INTERVAL, 20);

或通过环境变量指定

set EDGE_CONTROLLER_KEY_AUTH_MODE=2
set EDGE_CONTROLLER_KEY_INSTANCE_UPDATE_INTERVAL=20

2.3 序列号激活错误码

3. Demo示例(以图像服务为例)

服务运行成功，此时可直接在浏览器中输入http://127.0.0.1:24401，在h5中测试模型效果。

使用说明

调用说明

Python 使用示例代码如下

import requests

with open('./1.jpg', 'rb') as f:
    img = f.read()

## params 为GET参数 data 为POST Body
result = requests.post('http://127.0.0.1:24401/', params={'threshold': 0.1},
                                                  data=img).json()

C# 使用示例代码如下

FileStream fs = new FileStream("./img.jpg", FileMode.Open);
BinaryReader br = new BinaryReader(fs);
byte[] img = br.ReadBytes((int)fs.Length);
br.Close();
fs.Close();
string url = "http://127.0.0.1:8402?threshold=0.1";
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
request.Method = "POST";
Stream stream = request.GetRequestStream();
stream.Write(img, 0, img.Length);
stream.Close();

WebResponse response = request.GetResponse();
StreamReader sr = new StreamReader(response.GetResponseStream());
Console.WriteLine(sr.ReadToEnd());
sr.Close();
response.Close();

C++ 使用示例代码如下，需要安装curl

#include <sys/stat.h>
#include <curl/curl.h>

#define S_ISREG(m) (((m) & 0170000) == (0100000))   
#define S_ISDIR(m) (((m) & 0170000) == (0040000))  

int main(int argc, char *argv[]) {
    const char *post_data_filename = "./img.jpg";

    FILE *fp = NULL;
    struct stat stbuf = { 0, };

    fp = fopen(post_data_filename, "rb");

    if (!fp) {
        fprintf(stderr, "Error: failed to open file \"%s\"\n", post_data_filename);
        return -1;
    }

    if (fstat(fileno(fp), &stbuf) || !S_ISREG(stbuf.st_mode)) {
        fprintf(stderr, "Error: unknown file size \"%s\"\n", post_data_filename);
        return -1;
    }

    CURL *curl;
    CURLcode res;

    curl_global_init(CURL_GLOBAL_ALL);

    curl = curl_easy_init();
    if (curl != NULL) {
        curl_easy_setopt(curl, CURLOPT_URL, "http://127.0.0.1:24401?threshold=0.1");
        curl_easy_setopt(curl, CURLOPT_POST, 1L);
        curl_easy_setopt(curl, CURLOPT_POSTFIELDSIZE_LARGE,(curl_off_t)stbuf.st_size);
        curl_easy_setopt(curl, CURLOPT_READDATA, (void *)fp);

        res = curl_easy_perform(curl);
        if (res != CURLE_OK) {
            fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));
        }
        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    fclose(fp);

    return 0;
}

请求参数

HTTP POST Body直接发送图片二进制。

返回参数

关于矩形坐标

x1 * 图片宽度 = 检测框的左上角的横坐标

y1 * 图片高度 = 检测框的左上角的纵坐标

x2 * 图片宽度 = 检测框的右下角的横坐标

y2 * 图片高度 = 检测框的右下角的纵坐标

集成指南

基于HTTP集成

通过EasyEdge.exe启动服务后，参照上面的调用说明，通过HTTP请求集成到自己的服务中

基于c++ dll集成

集成前提

解压开的SDK包中包含src、lib、dll、include四个目录才支持基于c++ dll集成

集成方法

参考src目录中的CMakeLists.txt进行集成

基于c# dll集成

集成前提

解压开的SDK包中包含src\demo_serving_csharp、dll两个目录才支持基于c# dll集成

集成方法

参考src\demo_serving_csharp目录中的CMakeLists.txt进行集成

FAQ

1. 服务启动失败，怎么处理？

根据SDK内的README.md检查依赖是否都已正确安装

请确保相关依赖都安装正确，版本必须如下： .NET Framework 4.5 Visual C++ Redistributable Packages for Visual Studio 2013 * Visual C++ Redistributable Packages for Visual Studio 2015

GPU依赖，版本必须如下： * CUDA 11.0.x + cuDNN 8.4.x 或者 CUDA 11.7.x + cuDNN 8.4.x

GPU加速版（EasyEdge-win-x86-nvidia-gpu-tensorrt）依赖，版本必须如下： * CUDA 11.0.x + cuDNN 8.4.x + TensorRT 8.4.x.x

GPU加速版（EasyEdge-win-x86-nvidia-gpu-paddletrt）依赖，版本必须如下： * CUDA 11.0.x + cuDNN 8.4.x + TensorRT 8.4.3.1

2. 服务调用时返回为空，怎么处理？

调用输入的图片必须是RGB格式，请确认是否有alpha通道。

3. 多个模型怎么同时使用？

SDK设置运行不同的端口，点击运行即可。

4. JAVA、C#等其他语言怎么调用SDK?

参考 https://ai.baidu.com/forum/topic/show/943765

5. 启动失败，缺失DLL?

打开EasyEdge.log，查看日志错误，根据提示处理 缺失DLL，请使用 https://www.dependencywalker.com/ 查看相应模块依赖DLL缺失哪些，请自行下载安装

6. 启动失败，报错NotDecrypted?

Windows下使用，当前用户名不能为中文，否则无法正确加载模型。

7. 启动失败，报错 SerialNum无效

日志显示failed to get/check device id(xxx)或者Device fingerprint mismatch(xxx) 此类情况一般是设备指纹发生了变更，包括（但不局限于）以下可能的情况：

• mac 地址变化
• 磁盘变更
• bios重刷

以及系统相关信息。

遇到这类情况，请确保硬件无变更，如果想更换序列号，请先删除 C:\Users\${用户名}\.baidu\easyedge 目录，再重新激活。

其他问题

如果无法解决，可到论坛发帖： https://ai.baidu.com/forum/topic/list/199 描述使用遇到的问题，我们将及时回复您的问题。