如何提升模型效果
更新时间:2022-04-12
如何充分测试模型效果
模型校验
在查看模型评估报告基础上,首先使用模型校验功能测试未参与过训练的音频数据进行模型训练,在这一步尽量上传不同类别的数据充分测试,并在测试过程中线下记录识别错误的音频。在测试过程中需要关注以下内容:
- 不同分类的准确率是否存在明显差异
- 识别错误的音频是否存在一些共性?比如设备相似、音调相似、环境相似等等
- 识别错误的音频人耳是否能明显分辨
发布模型为API通过调用接口充分测试
将声音分类模型发布为API后,调用接口进行批量测试,在测试过程中同样重点关注上述三点内容。
如何提升模型效果
在充分测试模型效果基础上,如果发现模型效果欠佳,建议根据以下顺序分析并提升模型效果。
检查并优化训练数据
首先检查目前欠佳的模型是否存在训练数据过少的情况,建议每个类别的音频量不少于200个,如果低于这个量级建议扩充。
在扩充数据中需要一并检查不同类别的数据量是否均衡,建议不同分类的数据量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,那么可能会存在不同类别的准确率不同,同时低准确率的分类会拉低整体模型效果。
另外需要检查测试模型的音频数据与训练数据采集来源是否一致,如果设备不一致、或者采集的环境不一致(录音室环境及实际生产环境的差异),那么很可能会存在模型效果不错但实际测试效果较差的情况。针对这种情况建议重新调整训练集,将训练数据与实际业务场景数据尽可能一致
最后也请确认识别错误的音频人耳是否能清晰分辨,模型效果很难超越人耳的识别精度效果,这种情况,请在百度云控制台内提交工单反馈。
联系EasyDL团队提升模型效果
在完成上述检查并优化训练数据的工作后,仍然发现了显著的模型效果低的情况,请在百度云控制台内提交工单反馈。