所有文档

          EasyDL定制AI训练平台

          模型效果评估

          简介

          在参考模型训练操作说明文档完成模型训练后,模型列表中可以看到模型的结果,包括三个指标:mAP、精确率和召回率,也可以点击「完整评估报告」查看更为详细的模型表现,本文档会介绍如何解读模型的各项指标。

          模型训练结果

          模型的训练结果是如何得到的?

          上传的实景图,只有标注过的图片会被训练,所有训练图片中,系统会随机抽取70%的标注数据作为训练数据,剩余的30%作为测试数据,训练数据训练出的模型去对测试数据进行检测,检测得到的结果跟人为标注的结果进行比对,得到页面显示的mAP,精确率和召回率。

          提示:训练数据,即上传标注的实景图片越接近真实业务里需要预测的图片,模型训练结果越具有参考性。

          模型三项指标和评估报告解读

          mAP、精确率和召回率

          模型训练完成后,模型列表中可以看到模型的结果,包括三个指标:mAP、精确率和召回率,如下图所示:

          页面上显示的mAP、召回率和精确率数值,是模型里所有SKU在建议阈值下的平均值,建议阈值可以在模型的「完整评估报告」中查看。三项指标的含义分别为:

          • mAP

          mAP在[0,1]区间,越接近1模型效果越好,mAP不高也不说明模型里所有的SKU识别效果不好。

          mAP(mean average precision)是物体检测(Object Detection)算法中衡量算法效果的指标。对于物体检测任务,每一类object都可以计算出其精确率(Precision)和召回率(Recall),在不同阈值下多次计算/试验,每个类都可以得到一条P-R曲线,曲线下的面积就是average precision(AP)的值。“mean”的意思是对每个类的AP再求平均,得到的就是mAP的值。

          • 精确率

          精确率 Precision = 模型正确预测为该SKU的数量/模型预测为该SKU的总数

          对于一个SKU而言,精确率越高,说明模型识别出是这个SKU的所有结果中,正确数量的占比越高。如果精确率为1,说明识别出的所有结果都是对的,但不说明该SKU全部都被识别出来了,可能会存在漏识别

          • 召回率

          召回率 Recall = 模型正确预测为该SKU的数量/SKU客观存在的总数

          对于一个SKU而言,召回率越高,说明模型越完整地识别出这个SKU。如果召回率为1,说明这个SKU全部都被模型识别出来了,但不表示识别出是这个SKU的结果都是对的,可能会存在误识别

          完整评估报告

          如果需要了解更为详细的模型效果表现,可以在模型列表中点击三项指标下方的「完整评估报告」,完整评估报告页面如下图所示:

          评估报告

          如下图所示:

          在这部分可以选择模型的版本,以及看到每个版本参与训练的实景图片数和SKU数。

          整体评估

          如下图所示:

          在这部分,模型效果三项指标以图形的形式展示,三项指标的含义参考「mAP、精确率和召回率」内容,这里不再赘述。如果对模型的效果有疑问,可以点击「如何优化效果」查看模型效果不佳的原因,如下图所示:

          如果优化建议无法解决您的问题,可以点击「未解决」后输入您想咨询的问题并提交,我们线下会有专员联系到您帮您解决问题。

          详细评估

          • F1_score曲线

          如下图所示:

          F1-score是模型中一个SKU的精确率和召回率的调和平均数,该曲线图展示了模型中各SKU在不同阈值下的F1-score平均值,根据该曲线可以得到阈值的最优值,即图中显示的「建议阈值」。模型列表和整体评估展示的三项模型效果指标数据,均是模型在「建议阈值」下的结果。另外,在模型发布后,调用服务API时可通过请求参数中threshold调节阈值,默认为建议阈值。

          阈值(threshold),是正确结果的判定标准,例如阈值是0.6,置信度大于0.6的识别结果会被当作正确结果返回。

          • 识别错误图片

          如下图所示:

          上文提到模型结果是通过校验30%的所有标注数据(另外70%用于训练)得到的,这里会展示校验出有错误的图片,点击图片后通过勾选错误类别,可以查看这张图片中识别正确、错误以及漏识别的SKU,如下图所示:

          上一篇
          模型训练操作说明
          下一篇
          训练时长与等待时间说明