训练完成的模型被打包成适配智能硬件的SDK,可进行设备端离线计算,有效满足业务场景中无法联网、对数据保密性要求较高、响应时延要求更快的需求 2.
前提条件 硬件:模型需在GPU、CPU上运行,请准备好后再提交部署包申请。 获取部署包:部署包的申请、下载,请参考 如何接入 。下载好部署包之后,请参考本文档进行安装、部署。 准备服务器 GPU、CPU选型建议、基础硬件要求,请参考 硬件配置 。 如需购买硬件,可联系百度商务。
选择部署方式 如果您的业务模式是将视频上传至云端进行推理分析,则部署方式可选择公有云部署或EasyEdge本地部署-服务器。公有云部署的优势是部署较为便利,可一键发布为公有云服务;EasyEdge本地部署-服务器的优势是可下载部署包并部署至本地服务器,实现私有云服务;这两种部署方式共同的劣势是需要占用较大带宽用于视频传输,且推理计算将集中在公有云或私有云服务器,计算负荷较大。
公有云部署:训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统或硬件设备整合具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求。 私有服务器部署:将训练完成的模型部署在私有CPU/GPU服务器上,支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型,确保数据隐私。
公有云部署:训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统或硬件设备整合具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求。 私有服务器部署:将训练完成的模型部署在私有CPU/GPU服务器上,支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型,确保数据隐私。
服务高可用 服务部署在单台主机上,网络问题、硬件问题、程序bug等原因会导致服务不可用。如果想进一步提升服务的可用性,可以采用负载均衡服务,后端部署多个相同的云服务器,这样可以达到单个模块的故障不会影响服务本身的效果,极大地提升了服务的可用性。 公网BLB典型使用场景 您可以对BLB绑定EIP来实现公网流量负载。
9、提示安装成功后,可检查服务是否启动 docker ps ; 10、如果服务没有启动,可以使用docker ps -a, 查看容器id; 11、 鉴权服务默认的http端口为8443,通过netstat -apn | grep 8443可以看端口是否已经被监听 应用服务部署 部署环境需求 环境类别 环境需求 硬件要求 支持物理机、虚拟机部署方式; CPU架构:AMD 64/x86_64;内存: >
T4系列显卡最多支持50QPS(推荐T4显卡) RTX系列显卡最多支持80QPS(推荐2080Ti显卡) 注: 1.鉴权所在服务器为linux系统(支持物理机、虚拟机或常见云服务器,不支持windows系统),具体要求请参考: 指纹提取工具文档 GPU服务器(CPU、内存大小、硬盘、GPU显卡等)配置要求及推荐请参考: 硬件配置及推荐文档 申请入口(指纹提取工具在此获取): 立即申请 若您想要在CPU
应用服务部署 部署环境需求 环境类别 环境需求 硬件要求 支持物理机、虚拟机部署方式; CPU架构:AMD 64/x86_64;内存: >=32G;主板主频>1833mHZ;硬盘:>=512G( 应用服务安装目录磁盘空间 >100G);机器需要在局域网内,且能获取到ip地址 操作系统(64位) CentOS 7、Ubuntu 14/16/18、RedHat7.2 网络环境 有线局域网,不支持无线网络
对于智能视频分析业务而言,如果存在视频路数较少、业务实时性要求低的情况,可采用公有云部署或本地服务器部署的形式。在更多情况下,我们建议智能视频分析采用端云协同模式,也就是在边缘节点上直接进行视频分析,并将分析后的结构化数据回传至云端,则部署方式可选择EasyEdge本地部署,并根据您所使用的硬件设备来进一步选择通用小型设备或专项适配硬件。