模型加速整体说明
更新时间:2022-03-29
功能简介
当您发布时纯离线服务时,平台已结合最新的量化、剪枝、蒸馏技术,推出丰富的模型压缩加速方案,以提高您的SDK部署效率。
覆盖范围:服务器、通用小型设备、专项适配硬件均支持该功能。
具体原理:针对目标芯片,对模型做深度优化压缩加速,加速后模型在推理速度、内存占用、体积大小等指标上表现更优。发布加速模型可能需要一段时间,同时会有微小的精度损失。发布完成后可通过性能报告对比具体加速效果。
使用流程
选择加速方式
结合选择的系统与芯片不同,分别为您提供不同的压缩方式。
提示:基础SDK默认作为勾选项存在,可后续与您的加速SDK进行效果与性能比对,方便您进一步挑选
查看发布状态
点击完成发布后,将自动跳转至列表页,可分别查看不同加速方案下的模型发布进度及发布时间。