视觉任务模型部署整体说明
更新时间:2023-01-18
模型仓库中的视觉模型可部署在公有云服务器、私有服务器,封装成可离线运行的设备端SDK,或直接购买软硬一体方案,灵活适配各种使用场景及运行环境
您可以点击进入预训练网络与部署方式适配性页面,查询各预训练网络对下表所示的部署方式、硬件、系统的支持情况
部署方式 | 支持的硬件 | 支持的系统 |
---|---|---|
公有云部署 | 可集成公有云API即可 | 不限制 |
私有服务器部署[私有API] | 通用X86 CPU 英伟达 GPU |
Linux |
私有服务器部署[服务器端SDK] | 通用X86 CPU | Linux |
英伟达 GPU | Linux/Windows | |
通用设备端SDK | 通用ARM | Linux/Android/iOS |
海思NNIE | Linux | |
华为达芬奇NPU | Android | |
华为NPU | Android | |
高通骁龙 | Android | |
苹果A仿生芯片 | iOS | |
通用X86 CPU | Windows | |
英特尔®神经计算棒 | Linux/Windows | |
专项硬件适配SDK[软硬一体方案] | Baidu-EdgeBoard(FZ) | Linux |
Baidu-EdgeBoard(VMX) | Linux/Windows | |
Nvidia-Jetson(Nano/TX2/Xavier) | Linux |
公有云API
训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统或硬件设备整合
具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求
支持查找云端模型识别错误的数据,纠正结果并将其加入模型迭代的训练集,不断优化模型效果
私有服务器部署
可将训练完成的模型部署在私有CPU/GPU服务器上,支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型,确保数据隐私
- 私有API:将模型以Docker形式在本地服务器(仅支持Linux)上部署为http服务,可调用与公有云API功能相同的接口。可纯离线完成部署,服务调用便捷
- 服务器端SDK:将模型封装成适配本地服务器(支持Linux和Windows)的SDK,可集成在其他程序中运行。首次联网激活后即可纯离线运行,占用服务器资源更少,使用方法更灵活 提供基础版、加速版(已支持通用x86、通用ARM芯片)两种版本,可根据业务场景需求选择。
训练完成的模型被打包成适配智能硬件的SDK,可进行设备端离线计算。满足推理阶段数据敏感性要求、更快的响应速度要求
支持iOS、Android、Linux、Windows四种操作系统,基础接口封装完善,满足灵活的应用侧二次开发
软硬一体方案
模型训练完成后,可前往AI市场购买EasyDL&EdgeBoard软硬一体方案
可应用于工业分拣、视频监控等多种设备端离线计算场景,让离线AI落地更轻松。了解更多