评估分析器

分析器发布后，通过构建评估集评估抽取的准确程度。

评估模块分为两个部分：评估集和评估记录，评估集是用于验证分析器性能的测试数据集，评估记录是分析器每次评估任务的历史数据存档。

前提条件

• 待评估的分析器已完成构建阶段的配置（如字段抽取规则、解析模型选择等），并且已经发布；
• 平台计算资源处于可用状态，避免因资源不足导致评估任务执行失败。

评估集

在评估集界面可查看具体文件数量，以及不同状态（已确认、未确认和未标注）下评估集数量。

导入数据：评估模块通过tab选择评估集，单击列表右上方导入数据按钮，对评估文档文件进行上传（支持PDF格式），

评估集列表：导入成功的文件文档以列表形式展示，支持按照数据名称进行搜索，同时支持按照标注状态（未标注/已确认/标注中/自动标注/已标注）进行筛选。

评估集列表操作：单击列表操作项按钮，对评估集进行不同操作。

• 标注：单击标注后进入标注流程，在右侧标注字段部分，单击自动标注>选择标注标注版本后确定，进行字段标注；当需要手动修改，手动标注需要单击字段的编辑按钮，从文档中选取需要修改的字段内容。
• 删除：单击删除按钮，删除当前评估集。注意：评估集删除后无法恢复，请谨慎操作。

评估记录

评估记录是分析器版本的评估记录，通过评估记录追溯分析器版本的准确性。记录以列表形式展示，支持按照评估记录名称进行搜索，按照评估状态（等待中/运行中/已完成/失败）进行筛选。

创建评估任务：在评估记录列表右上方单击创建评估按钮，填写创建评估任务相关配置项后确定，评估任务创建完成。创建成功的评估任务以列表形式展示，相关操作项说明参照下表。

表1 创建评估任务配置项说明

配置项名称	说明
任务名称	填写评估任务名称。
评估版本	下拉选择分析器版本。
评估规则	选择匹配方式，严格匹配 / 模糊匹配。注意：严格匹配会字符进行一一比对，模糊匹配会移除抽取字段中的空格和标点符号，不区分大小写进行评估判定。
评估模型	下拉选择执行评估的模型。

表2 评估任务列表说明

列表项	说明
评估任务	当前评估任务的名称。
任务 ID	评估任务的唯一标识，系统自动生成。
评估状态	当前评估任务的运行状态（等待中/运行中/已完成/失败）。
评估时间	当前评估任务开始执行的具体时间。
分析器版本	本次评估所使用的分析器版本。
F1	Precision 与 Recall 的调和平均，即在评估集上的准确性。
精确率	所有字段正确抽取结果占所有抽取结果的百分比，TP / (TP + FP)。精确率越高，预测的假正例越少。
召回率	所有字段正确抽取结果占真实正确结果的百分比，TP / (TP + FN)。召回率越高，假负例越少，即出差错的预测越少。
操作	单击操作列不同按钮，对评估任务进行不同操作。详情：单击详情按钮跳转评估详情页。