优化方法
简介
模型训练好后,必经的一个过程是模型优化,EasyDL零售版已专门根据零售业务场景中的数据调优了模型算法,所以优化EasyDL零售版训练的模型,不需要理解和调优模型算法中的各种参数,仅需要优化训练数据即可。优化一个EasyDL零售版的商品检测模型,可以分为以下几个步骤进行:
- 前提 - 正确采集实景图和单品图,并正确标注实景图
- 补充实景图 - 使用EasyDL零售版提供的模型优化工具 (云服务数据回流) 补充实景图
- 补充SKU单品图 - 上传SKU识别不好的角度的单品图
- 重新训练模型 - 补充好数据后用新旧数据一起重新训练模型
- 重新发布模型 - 将新训练的模型版本发布为API后测试模型效果
- 重复优化 - 根据测试结果重复2-5步骤直到模型效果可商用
1. 前提
数据质量是保证模型效果的前提,在EasyDL零售版中,数据质量涉及实景图和单品图的图片质量,以及实景图的标注质量,开始模型优化前,请先学习如何采集合格的图片和进行合格的标注,各个参考文档如下:
- 实景图采集:实景图数据要求
- 实景图标注:实景图标注规范
- SKU单品图:SKU单品图数据要求
点击下载数据采集与标注规范长图,一张图看懂如何采集和标注数据,让您不走弯路,获得一个高精度的商品检测模型。
2. 补充实景图
推荐使用EasyDL零售版提供的模型优化工具 - 云服务数据回流工具,参考使用文档优化工具补充实景图来优化模型。
3. 补充SKU单品图
在上一步使用云服务数据回流工具时,发现SKU识别效果较差的角度,参考文档SKU单品图数据要求采集SKU相应角度的单品图并上传到对应SKU。
4. 重新训练
在补充了相应数据后,在模型列表中「操作」列中点击「训练」,选择需要检测的SKU和所有需要训练的实景图集,包括上一次训练的图集和新增的图集(如果优化模型的数据是存在新的实景图集中),确认选择无误后开始训练。
提示:重新训练之前训练或发布过的模型,训练过程中和训练后均不会影响之前训练的模型版本,训练之前发布的版本API接口依旧有效,也可以选择发布之前训练过的其他模型版本。
同一个模型所有训练的版本均可以在模型列表中进行查看,如下图所示:
在模型列表中点击「全部版本」图标后进入到模型全部版本管理页面,如下图所示,可在页面上查看所有版本的训练集和选择发布任意已经成功训练好的版本。
5. 重新发布模型
模型重新训练好后,如果之前发布过的模型版本还在测试,可以直接重新发布,用新的版本执行下一步;如果之前发布过的模型版本已经上线到生产环境,请参考下面注意内容,确保不影响线上生产环境的情况下,执行重新发布。
注意:重新发布模型后,服务API URL不会变化,模型自动切换为新发布的训练版本,如果服务API已上线生产环境,发布新版本前,请先在模型列表和完整评估报告中,确认新版本的模型指标和各SKU的精确度与已上线版本是更优或者相差不大的,以确保新发布版本的模型效果不会对线上业务不会产生不好的影响。
6. 重复优化
根据每次优化数据后的模型测试结果,重复2-5步骤直到模型效果可商用。