智能客服对话平台ICS

    运营工具

    该模块为用户提供统一的会话运营工具,便于对效果和数据进行持续监控和调优。

    相关名词解释

    • 标注:会话标注指为用户问法匹配相应的类型。匹配类型包括:多轮意图、问答、闲聊。
    • NLU分析:自然语言理解分析,可以实现对文本的意图、问答、闲聊、实体、态度、情感识别。

    会话标注

    用户通过持续的标注可以逐步提升BOT对意图、实体、问答、闲聊等知识的识别能力,从而增强知识的有效性,扩大其对业务场景的覆盖度。

    用户问法通过标注在各模块中的流转如下图:

    初始模块 标注动作 结束模块
    待标注-已匹配 暂不处理 暂不处理-已匹配
    待标注-已匹配 重新匹配 已标注-已匹配
    待标注-已匹配 确认 已标注-已匹配
    待标注-未匹配 标注 已标注-已匹配
    待标注-未匹配 暂不处理 暂不处理-未匹配
    待标注-未匹配 确认 已标注-未匹配
    已标注-已匹配 重新匹配 已标注-已匹配
    已标注-未匹配 标注 已标注-已匹配
    暂不处理-已匹配 重新匹配 已标注-已匹配
    暂不处理-已匹配 确认 已标注-已匹配
    暂不处理-未匹配 标注 已标注-已匹配
    暂不处理-未匹配 确认 已标注-未匹配

    待标注-已匹配

    展示内容

    在该页面中,展示系统基于语义相似度与匹配内容进行分类的会话内容。类型包括多轮意图、多轮其他、问答、闲聊与澄清。

    image.png

    详情

    1. 点击“详情”进入详情页,可对该问法下各语句执行确认、重新匹配与暂不处理操作。

    image.png

    1. “确认”即确认当前已匹配内容。点击后,对应用户问法将流转到“已标注-已匹配”中。
    2. “重新匹配”即当前匹配内容有误需要更正。用户可在弹窗中为该语句重新匹配一个意图、问答或闲聊,点击“匹配此意图”、“关联”或“匹配此闲聊”后,对应用户问法将流转到“已标注-已匹配”中。

    image.png

    若已存在的意图、问答、闲聊中没有合适的匹配项,可将鼠标移动到“更多操作”。

    意图中可新建意图或设置不使用意图响应此问题。

    image.png

    问答中可添加问答或设置不使用问答响应此问题。

    image.png

    闲聊中可选择新建闲聊。

    image.png

    1. “暂不处理”即当前对此用户问法不进行任何操作。选择暂不处理后,用户问法流转到“暂不处理-已匹配”中。

    待标注-未匹配

    展示系统未能匹配到各类型的用户问法。与已匹配内容相同,用户可以在该页面对未匹配的语句执行确认、标注与暂不处理操作。

    “确认”或“标注”后,用户问转移到“已标注-已匹配”中,“暂不处理”后,用户问法转移到“暂不处理-未匹配”中。

    image.png

    image.png

    已标注-已匹配

    展示已匹配(通过各标注状态下“已匹配”问法中的“确认”或“重新匹配”操作,以及“未匹配”问法的“标注”操作流转)的用户问法,点击“详情”可对该条目重新标注。

    image.png

    image.png

    关闭聚合开关可查看全量已标注(已匹配)的按语义相似度聚合前的数据,便于用户对数据进行快速复核及管理。

    image.png

    已标注-未匹配

    展示未匹配(通过各标注状态下“未匹配”的“确认”操作流转)的用户问法,可通过点击“详情”,进行“标注”。标注完成后,流转至“已标注-已匹配”页。

    image.png

    image.png

    关闭聚合开关可查看全量已标注(未匹配)的按语义相似度聚合前的数据,便于用户对数据进行快速复核及管理。

    image.png

    暂不处理

    展示用户执行“暂不处理”操作的问法。在该模块下,可对“已匹配”问法执行确认或重新匹配的操作;对“未匹配”的问法执行确认或标注的操作。

    image.png

    image.png

    扩展问推荐

    针对每个意图/问答,推荐出n条相似的意图示例/相似问,用户可按需选择,加入到意图或问答中,帮助其进行冷启动。

    意图推荐

    选择“意图列表”中的某个意图后,点击“添加到示例”完成意图示例添加。

    image.png

    问答库推荐

    选择“标准问法列表”中的某个问答后,点击“添加到示例”完成相似问法添加。

    image.png

    NLU分析

    NLU分析工具提供两个功能:对比文本相似度功能以及单文本分析功能。

    image.png

    1.对比文本相似度功能:

    在"待分析文本"输入框中输入一段文本后,点击输入框下方的"添加对比文本",可以输入需要对比相似度的文本。点击对比分析,下方即出现两句文本之间的文本相似度。

    image.png

    此对比文本相似度功能主要对比的是两段文本之间的文本相似度,单次仅支持对比两段文本之间的文本相似度,如需对比多条需要重新输入并点击对比。

    2.单文本分析功能:

    在“待分析文本”框中输入一段文本,点击“单文本分析”按钮可查看意图、实体、问答、闲聊、态度、情感、敏感词的识别情况。

    image.png

    识别结果展示匹配或者识别到的对应知识条目以及置信度,可作为运营人员维护平台知识,提升机器人对话效果时的参考。

    文档库

    在该模块中,可对文档知识进行增删与编辑。文档知识为标题加内容的文档形式的知识,仅作为坐席门户浏览所用,不能被机器人调用进行问答匹配。

    编辑目录

    点击“编辑目录”实现对子目录的编辑,相关操作包括增删改查、上移、下移、向上一级、向下一级。

    image.png

    添加文档

    点击“添加文档”,进行文档标题与内容编辑。同时可通过下方按钮为文档添加“附件”、关联知识或添加标签,点击“保存”完成文档添加。

    image.png

    在关联知识中,可以选择要关联的标准问,便于坐席人员查阅浏览。

    image.png

    image.png

    文档操作

    点击右侧文档列表中的“查看”,进行文档的操作。包括编辑、移动、导出与删除。

    image.png

    对话记录

    该模块将线上的每一轮交互进行记录,并通过session进行聚合后离线展示,支持用户在测试环境查看线上发生的对话记录。同时支持用户对产生的对话记录数据进行导出。

    image.png

    点击右侧对话记录列表中的“查看详情”,可查看该条对话记录的详细数据,同时支持展示每一轮对话的调试信息。

    image.png

    评论管理

    面向审核人员提供多维度的评论展示、筛选与审核操作。

    • 知识点类型:文档知识、问答知识;
    • 处理状态:已处理(已进行审核操作)、未处理(未进行审核操作)。

    image.png

    我的贡献

    1. 在该模块,当前登陆且无审核权限的用户可对其添加的知识进行查询和修改。
    • 数据来源:数据管理、标注;
    • 数据类型:问答、意图、实体、闲聊、文档、不响应问;
    • 编辑类型:新增、编辑、删除。

    image.png

    1. 对于当前登陆且拥有审核权限的用户可对数据进行筛选、查询、查看提审内容与审核记录。

    image.png

    image.png

    数据统计

    对会话数据进行统计,并通过实时变化的图像对其进行直观的展示,展示内容包括:会话数和消息数的趋势图,响应来源分布饼状图,知识库高频意图、问答TOP10。其中,知识库高频意图、问答TOP10支持导出。

    1. 会话统计及对应趋势图:用户可以选择展示Agent范围或某一BOT范围的会话数据,可对时间和数据类型进行筛选

    image.png

    1. 响应来源分布统计:用户可查看,任务式会话、问答、闲聊、澄清、未匹配及其它。

    image.png

    1. 高频意图&问答TOP10统计:用户可查看意图及问答库中的高频知识,并可导出相关数据。

    image.png

    会话诊断

    该模块针对任务式会话引擎,对流程片段配置面向实际业务场景的解决效果进行统计分析。基于数据辅助,快速定位到完成率低的流程片段,有针对性地优化任务式对话的交互设计,提升对话体验,更多的解决实际业务场景的问题。

    流程片段完成率定义:用户与机器人交互对话中,按照流程的某一分支能够顺利完成的占比。 支持在流程片段中自定义完成节点,当会话交互进行到该节点时,则认为流程片段为顺利完成。未设置完成节点的流程片段则认为所有交互都是没有完成的,在完成节点设置后产生的新会话数据才可用于数据统计。 在会话流程配置页面,节点的执行模块中勾选设置是否为完成节点:

    image.png

    流程片段完成率的统计基于BOT及对应版本,流程片段的完成率需在同一个版本的时间范围内进行数据统计,因此生效时间范围的筛选页必须在同一版本内。流程片段完成率的统计分为会话维度和场景维度。

    • 会话维度:

      • 定义:侧重反映会话维度流程片段对实际业务场景的解决效果,比如一个会话中用户对同一个流程片段重复提问了2次,第一次没有顺利完成交互,第二次完成了,那么从会话的维度认为是解决了用户的问题,对应数据统计该流程片段的会话量为1,完成率100%
      • 计算公式:流程片段A会话维度完成率=(经过A流程片段且A走到过完成节点的session数量)/(经过A流程片段的session总数量)*100%
    • 场景维度:

      • 定义:侧重反映流程片段设计的合理性,在上面的例子中,从流程片段对应的这个场景的维度,该流程片段对应的场景量为2,完成率50%
      • 计算公式:流程片段A场景维度完成率=(A流程片段对应的A场景中走到完成节点的场景数量)/(A流程片段对应的A场景总数量)*100%

    image.png

    在运营阶段,使用会话诊断工具对流程片段进行针对性优化时,建议重点关注【场景维度】的流程片段完成率。在场景维度列表中,通过排序功能定位完成率相对较低的流程片段【查看详情】。

    会话维度完成率分析详情:

    • 支持用户按小时&按天查看数据趋势图(会话量、完成量、完成率)
    • 同时可以查看相关会话的详情,复制会话ID在会话记录页面进行检索查看

      • 热度示例:在节点名称的文字上以颜色区分展示,共分为10个梯度,依次黄色-橙色-红色-紫色,颜色越深代表热度越高
      • 节点完成情况:每个节点被执行则为流量入口数据,完成后则为流量出口数据。其中流量出口数据,如果不是该节点的后续节点的话应重点关注,如被统计为【会话结束】的节点,说明没有顺利完成该节点的执行

    image.png

    场景维度完成率分析详情:

    • 支持用户按小时&按天查看数据趋势图(场景量、完成量、完成率)
    • 支持查看该流程片段的热度分布,以及每个节点的完成情况,针对其中完成情况较低的节点进行进一步的数据分析和配置优化

    image.png

    操作日志

    操作日志是对用户的“增”、“删”、“改”等操作进行真实记录,以便发现用户异常操作,追溯操作源头,实现“追责”。另外,可方便用户对数据进行记录、统计,满足其不同维度的报表需求。同时操作日志可展示数据的生命周期,用户可查看数据自创建或导入开始的全部生命周期。

    名词解释

    • 操作模块:对应系统左侧菜单栏,表示系统中现有的主要功能模块,划分模块也可方便用户在查询操作日志时的定位。
    • 操作动作:指的是用户的增删改等会对系统数据带来影响的操作。
    • 操作对象:用户进入模块后,所做的动作针对的具体对象,操作模块与操作对象是一对一或一对多的关系。
    • 操作来源:“默认”为进行某项操作的常规页面。“扩展问推荐”指的是在扩展问推荐模块对问答进行修改,如“添加问答相似问”。“标注”指的是在标注模块对其它模块的内容进行修改。

    若接入客户的第三方系统,则在操作来源处展示“第三方系统”。

    展示页面

    操作日志以列表的形式展示操作记录,列表内容包括操作的几要素:操作人、操作模块、操作对象、操作动作、时间、操作来源、查看详情。可清晰展示:“某人”在“某时间”于“某个操作模块”对“某个操作对象”做了“某个操作动作”,并对系统数据产生了影响。

    image.png

    筛选项

    可通过时间选择和搜索查找满足条件的操作日志,点击更多筛选,可针对列表中所展示的几要素从多角度多维度进行筛选。

    image.png

    查看详情

    列表中可简要清晰地展示操作日志,若想查看某一条记录的详细信息,可点击“操作”下的“查看”。

    查看详情弹窗中展示:用户基本信息、具体的操作内容及数据流。数据流展示流数据从产生到最后一次针对此数据的操作过程中所有的操作动作,也即展示了一条数据完整的生命周期。

    image.png

    上一篇
    审核中心
    下一篇
    设置