模型效果评估报告
所有文档

          EasyDL零门槛AI开发平台

          模型效果评估报告

          简介

          模型训练完成后,模型列表中可以看到模型的结果,包括三个指标:MOTA、MOTP、召回率,也可以点击「完整评估报告」查看更为详细的模型表现,本文档会介绍如何解读模型的各项指标。

          模型训练结果

          模型的训练结果是如何得到的?

          所有训练数据中,系统会随机抽取70%的标注数据作为训练数据,剩余的30%作为测试数据,训练数据训练出的模型去对测试数据进行检测,检测得到的结果跟人为标注的结果进行比对,得到MOTA、MOTP、IDF1-score和召回率。

          提示:训练数据,即上传的视频越接近真实业务里需要预测的视频,模型训练结果越具有参考性。

          在查看模型评估结果可能需要思考在当前业务场景MOTP与召回率更关注哪个指标,是更希望减少误识别,还是更希望减少误召回。前者更需要关注召回率的指标,后者更需要关注MOTP的指标。同时IDF1-Score可以有效关注MOTP和召回率的平衡情况,对于希望召回与识别效果兼具的场景,IDF1-Score越接近1效果越好。

          完整评估报告

          如果需要了解更为详细的模型效果表现,可以在模型列表中点击三项指标下方的「完整评估报告」,完整评估报告页面如下图所示:

          image.png

          评估报告

          如下图所示:

          image.png

          在这部分可以选择模型的版本,以及看到每个版本参与训练的视频数。

          整体评估

          如下图所示:

          在这部分,四项指标的含义如下:

          • MOTA

          目标跟踪任务中的MOTA指标,指除误报、丢失目标、ID异常切换情况的正确预测样本占所有样本的比率

          对于一个模型而言,MOTA表示这个模型中所有标签的综合识别效果。因效果较差的模型可能存在ID异常切换的情况多,大于样本总数的情况,所以MOTA的取值可能为负,MOTA∈(-∞, 1]。如果MOTA为1,说明所有样本在测试数据中都被正确识别

          • MOTP

          目标跟踪任务中的MOTP指标,指各个阈值都为默认值0.5的情况下正确预测的目标数与预测目标总数之比

          对于一个标签而言,MOTP越高,说明模型识别出是这个标签的所有结果中,正确数量的占比越高。如果MOTP为1,说明识别出的所有结果都是对的,但可能会存在漏识别

          • 召回率

          召回率 Recall = 模型正确预测为该标签的ID数量/该标签真实存在的ID总数

          召回率越高,说明模型越完整地识别出这个标签。

          详细评估

          • IDF1-score

          IDF1-score代表该模型的综合评测效果,越高效果越好。此处为默认平均阈值为0.5时的IDF1-Score

          • IDSW

          代表检测目标的ID异常切换的次数。该值越低,模型鲁棒性越好

          image.png

          • 错误示例

          可查看按照默认阈值下被判定为错误识别的视频片段样本示例,点击左下角的筛选项可查看正确识别、误识别、漏识别的各个情况

          image.png

          上一篇
          模型训练操作说明
          下一篇
          模型发布