在硬件成本方面,我们通过采用通用服务器来替代 IOE 硬件,帮助百信银行的单账户平均硬件成本降低了 70% 以上。 下图是人行下面直属的某交易所。因为是涉及到国家金融稳定,所以在核心系统上需要逐步摆脱对 Oracle 的依赖,并拥有两地三中心的容灾能力。 由于当前的一些数据库都不能满足他们的业务场景需求,因此该交易所和百度采用了联合开发的模式,共建数据库能力。
用户无需提前购买硬件,即可迅速创建或释放任意多台云服务器,有效降低IT成本,提升运维效率,为用户快速构建稳定可靠的应用,降低网络规模计算的难度,使用户更专注于核心业务创新。
申请使用前也 请提前准备好鉴权物理机和服务器资源 ,这是您运行 OCR 应用服务的基础,详细硬件推荐请点击 [了解详情] 。同时,强烈建议您 调用对应云端接口进行初步测试,确认效果及功能基本可满足需求后再发起私有化申请 ,以免耽误您的部署时间。
多种边缘硬件适配 BIE边缘运行包当前支持armv32、arm64、amd64等多种架构,当前已经适配的智能边缘硬件包括: amd64(x86_64) CPU服务器 GPU服务器 寒武纪推理服务器 MLU220加速推理服务器, CONTEC CONPRO-i6040 MUL270加速推理服务器, 支持浪潮、联想、华三等 华为Atlas 800推理服务器(型号:3010) ,使用Atlas 300I
训练完成的模型被打包成适配智能硬件的SDK,可进行设备端离线计算,有效满足业务场景中无法联网、对数据保密性要求较高、响应时延要求更快的需求 2.
前提条件 硬件:模型需在GPU、CPU上运行,请准备好后再提交部署包申请。 获取部署包:部署包的申请、下载,请参考 如何接入 。下载好部署包之后,请参考本文档进行安装、部署。 准备服务器 GPU、CPU选型建议、基础硬件要求,请参考 硬件配置 。 如需购买硬件,可联系百度商务。
选择部署方式 如果您的业务模式是将视频上传至云端进行推理分析,则部署方式可选择公有云部署或EasyEdge本地部署-服务器。公有云部署的优势是部署较为便利,可一键发布为公有云服务;EasyEdge本地部署-服务器的优势是可下载部署包并部署至本地服务器,实现私有云服务;这两种部署方式共同的劣势是需要占用较大带宽用于视频传输,且推理计算将集中在公有云或私有云服务器,计算负荷较大。
公有云部署:训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统或硬件设备整合具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求。 私有服务器部署:将训练完成的模型部署在私有CPU/GPU服务器上,支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型,确保数据隐私。
公有云部署:训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统或硬件设备整合具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求。 私有服务器部署:将训练完成的模型部署在私有CPU/GPU服务器上,支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型,确保数据隐私。
服务高可用 服务部署在单台主机上,网络问题、硬件问题、程序bug等原因会导致服务不可用。如果想进一步提升服务的可用性,可以采用负载均衡服务,后端部署多个相同的云服务器,这样可以达到单个模块的故障不会影响服务本身的效果,极大地提升了服务的可用性。 公网BLB典型使用场景 您可以对BLB绑定EIP来实现公网流量负载。