评估效果
更新时间:2022-05-17
模型评估
可通过模型评估报告或模型校验了解模型效果:
- 模型评估报告:训练完成后,可以在【我的模型】列表中看到模型效果,以及详细的模型评估报告。
- 模型在线校验:可以在左侧导航中找到【校验模型】,在线校验模型效果。
「完整评估结果」页面中将记录整体评估与详细评估的报告,包括该模型整体的Mean Recall、Recall@1 、Recall@5、Recall@10等指标。
整体评估中,各指标的释义如下:
- Mean Recall:通过模型计算得到top1、top5、top10匹配结果的召回率平均值,该数值越大表明模型效果越好
- Recall@1 :通过模型计算得到top1匹配结果的召回率平均值,该数值越大表明模型效果越好
- Recall@5:通过模型计算得到top5匹配结果的召回率平均值,该数值越大表明模型效果越好
- Recall@10:通过模型计算得到top5匹配结果的召回率平均值,该数值越大表明模型效果越好
如果在训练阶段,使用的数据集中,数据集总量在100条以内,训练出来的模型的效果评估报告的参考价值较小,建议您训练时数据量准备充足
模型校验
在完成训练后,发布模型前,可以先进行模型校验,以确保模型在实际环境中能获得预期的性能。操作方法如下:
- 在左侧「模型中心」目录中点击「校验模型」,进入校验模型页面
- 选择需要校验能力的模型、部署方式、版本,点击「启动模型校验服务」
- 校验服务启动后,在左侧上传图片,右侧文本框内输入文本,点击「校验」后,识别结果栏将输出匹配度结果,您可参考匹配度说明了解匹配度的分析方法。