运营工具
该模块为用户提供统一的会话运营工具,便于对效果和数据进行持续监控和调优。
相关名词解释
- 标注:会话标注指为用户问法匹配相应的会话类型。匹配类型包括:多轮意图、问答、闲聊。
- NLU分析:自然语言理解分析,可以实现对文本的意图、问答、闲聊、实体、态度、情感识别。
标注工具
随着机器人建设的完成和正式上线运营,对于用户的五花八门的表述会使得一些复杂表述机器人无法识别,这个使用就需要通过使用标注功能,使得机器人实现不断学习的效果。
通过系统数据聚类、推荐等智能辅助手段,可实现相似度较高问法的语义自动聚类,高频问题优先显示,问题智能匹配标准问和标准答案,提升训练的科学合理性,并可通过批量处理相似的问题实现快速、实时生效。同时,将机器人未响应的问题单独列出,方便优先处理此类亟待标注的问题。随着标注数据的增多,模型会不断被优化,沉淀出多行业通用模型,有助于实现项目快速冷启动,减少大量的启动和训练成本。
同时为了提升标注的工作效率,标注需按照多人协同的标注任务流形式流转,即每个标注员都只能标注属于自己的标注任务,标注员提交标注任务后需等待审核员审核标注任务,审核完成后标注的动作才真正生效。
标注数据
标注数据的来源是系统基于语义相似度与匹配内容进行分类的用户问法。匹配类型包括已匹配(老画布版本包括意图、FAQ问答、闲聊、第三方引擎、表格问答;新画布版本包括意图、FAQ问答、第三方引擎、表格问答、大模型知识问答)、未匹配对用户的表述进行分类。历史标注暂不处理数据中包含的是历史标注任务中标注结果为暂不处理的数据。
默认以聚合形式展示,点击问法后的"详情",可查看每个聚类后问法包含的所有原始问法。
为了提升标注的工作效率,标注需按照多人协同的标注任务流形式流转
标注任务支持多种任务类型:常规融合标注、高效意图标注、智能挖掘标注。
- 常规融合标注:即对标注数据进行常规的标注动作;
- 高效意图标注:系统会筛选出能快速提升机器人意图识别效果的数据并创建任务;
- 智能挖掘标注:系统会筛选出符合固定的对话模式的场景数据并创建任务,目前包含多次未匹配、负向情绪和转人工三种对话模式。
任务管理
任务管理页面主要进行标注任务的查看和管理工作。根据是否已经分配标注员,任务被分为两种状态:已分配和未分配。
未分配的页面可以进行标注任务的分配和删除。删除后的任务其包含的任务数据会回到原来的标注数据页面供重新筛选。
已分配的页面可以查看标注任务的状态以及任务详情。如果标注员还未开始标注已经分配的任务,可重新分配此任务,或者删除任务。点击"查看详情",可查看任务的数据详情。
任务标注
此页面主要供标注员查看任务、标注任务。
未完成任务展示所有还未完成的任务,点击"查看标注",进入标注数据的界面。
选择对应的标注数据,可在右侧的标注区域对此数据进行标注操作。
标注操作说明
重新匹配:当不满意机器人的识别结果时,可选择重新匹配;重新匹配下方有属于不同知识模块的标注数据,可根据实际业务需求进行标注。
确认匹配:当机器人的识别结果符合期望时,可点击确认匹配确认机器人的识别结果。
暂不处理:当不确定用户问法应该如何标注时,可先标注暂不处理。
忽略:当用户问法为无意义的语句或者乱码文字时,可标注忽略。
-
匹配类型:
-
老画布版本:意图、FAQ问答、闲聊、第三方引擎、表格问答
-
新画布版本:意图、FAQ问答、第三方引擎、表格问答、大模型知识问答
-
任务规则
任务规则为系统自动创建任务时依照的规则。现在平台内置三种系统规则:系统任务规则1、系统任务规则2、系统任务规则3。这三种规则分别用于自动生成常规融合标注任务、高效意图标注任务、智能挖掘标注任务。系统规则仅可选择启用禁用,不可修改任务规则。
启用系统规则后,在规则对应的生效时间范围内,系统将自动按照规则生成标注任务。
除去内置的任务规则之外,平台支持自定义任务规则。点击"添加任务规则",根据需求填写标注数据的筛选项,并对此规则进行命名方便管理,在选择的有效时间范围之内,系统将自动按照此规则生成任务。
NLU分析
输入一个用户表述(query),可以查看语义理解的情况,老画布中可以了解如何匹配到对应实体、意图、问答等知识,并可以查看情感及态度的识别。新画布中可以了解意图、FAQ问答、表格问答query推荐问的匹配情况和识别出的敏感词。
新画布:
老画布:
实体分析
老画布版本支持大模型实体nlu分析,可以选择平台大模型实体识别、第三方实体识别查询实体匹配情况。新画布版本不支持实体分析功能。
-
第三方实体识别
- 来源选择第三方实体识别时,并发调用所有的第三方NLU能力;
- 第三方实体识别仅支持小模型识别,调用第三方NLU时展示对应的所有字段,匹配方式-常规识别,匹配来源-第三方实体识别名称。
-
平台大模型实体识别-系统实体,对应字段展示参考下图:
- 平台大模型实体识别支持多属性复合实体,对应字段展示参考下图:
NLU分析工具提供两个功能:对比文本相似度功能以及单文本分析功能。
1.对比文本相似度功能:
在"待分析文本"输入框中输入一段文本后,点击输入框下方的"添加对比文本",可以输入需要对比相似度的文本。点击对比分析,下方即出现两句文本之间的文本相似度。
此对比文本相似度功能主要对比的是两段文本之间的文本相似度,单次仅支持对比两段文本之间的文本相似度,如需对比多条需要重新输入并点击对比。
2.单文本分析功能:
在“待分析文本”框中输入一段文本,点击“单文本分析”按钮可查看意图、实体、问答、闲聊、态度、情感、敏感词的识别情况。
识别结果展示匹配或者识别到的对应知识条目以及置信度,可作为运营人员维护平台知识,提升机器人对话效果时的参考。
剧本管理
作为用户,在配置了一个新的BOT(场景)后或BOT进行优化调整以及BOT上线后,需要进行此BOT的不同场景case批量测试,并基于测试case制作出不同的测试剧本;通过剧本管理用户可以便捷维护bot测试剧本,同时可进行bot文本对话端到端的效果测试,提升测试效率
创建剧本,指定剧本归属的BOT、绑定的渠道信息
剧本详情,可查看剧本下的所有测试集详情,每个剧本最多可创建1000个测试集,每个测试集相当于一个会话
创建测试集,支持3种方式进行创建【创建测试集】【录制测试集】【文件导入测试集】
- 创建测试集:通过页面配置的方式进行测试集的内容的填写和维护
通过手动输入的方式去编写测试集及对应的预期结果
新画布版本:预期匹配类型包括大模型任务会话、faq问答、大模型闲聊、大模型知识问答、表格问答)
老画布版本:预期匹配类型包括任务式会话、faq问答、闲聊、大模型知识问答、表格问答、系统事件、Bot事件、技能、第三方引擎)
- 录制测试集:基于对话窗口进行对话,完成测试集的生成
基于对话窗口进行测试集的录制,更加简单易用
- 文件导入测试集:通过文件导入的方式进行测试集的导入
通过线下excel文档进行测试集的编写(符合导入规范),编写完成后上传即可
剧本下的测试集全部编写完成后,点击剧本记录的测试,即可进行剧本的批量测试
剧本测试区分对线上环境或测试环境的BOT进行测试,按需使用
测试开始后,生成测试记录和测试报告;可查看测试集的测试对话详情以及剧本的全局测试报告
会话记录
该模块将线上的每一轮交互进行记录,并通过session进行聚合后离线展示,支持用户在测试环境查看线上发生的对话记录。同时支持用户对产生的对话记录数据进行导出。
点击右侧对话记录列表中的“查看详情”,可查看该条对话记录的详细数据,同时支持展示每一轮对话的调试信息。
我的贡献
由于审核机制存在,采编人员的知识编辑不会即时生效;对于无审核权限但有采编权限的人员,提供一个查看和跟进审核状态的入口。
- 在该模块,当前登录且无审核权限的用户可对其添加的知识进行查询和修改。
- 数据来源:数据管理、标注;
- 数据类型:问答、意图、实体、闲聊、文档、不响应问;
- 编辑类型:新增、编辑、删除。
- 对于当前登录且拥有审核权限的用户可对数据进行筛选、查询、查看提审内容与审核记录。
数据统计
对整个agent(租户)及各个Bot的运营情况进行数据报表查看,同时可以查看知识库采编的统计信息。对会话数据进行统计,并通过实时变化的图像对其进行直观的展示,展示内容包括:会话数和消息数的趋势图,响应来源分布饼状图,知识库高频意图、问答TOP10、。其中,知识库高频意图、问答TOP10、热门文档TOP10支持导出。除此以外,还可以查看知识库整体的知识数据量的统计和账号下相关贡献的统计。
对于知识数据模块,新画布版本支持实体、意图、FAQ问答、文档、表格问答、大模型知识问答、专业词库、敏感词库、停用词库的分类统计;老画布版本支持实体、意图、流程片段、FAQ问答、闲聊、文档不响应问、表格问答、大模型知识问答、专业词库、敏感词库、停用词库的分类统计。
智能会话数据
对会话数据进行统计,并通过实时变化的图像对其进行直观的展示,展示内容包括:会话数和消息数的趋势图,响应来源分布饼状图,知识库高频意图、问答TOP10。其中,知识库高频意图、问答TOP10支持导出。
- 会话统计及对应趋势图:用户可以选择展示Agent范围或某一BOT范围的会话数据,可对时间和数据类型进行筛选
- 响应来源分布统计:用户可查看,任务式会话、问答、闲聊、澄清、未匹配及其它。
- 高频意图&问答TOP10统计:用户可查看意图及问答库中的高频知识,并可导出相关数据。
知识数据
对当前Agent下的操作数据次数以及审核情况进行统计,主要分为知识管理数据统计和标注数据统计。同时展示了知识管理的变化趋势以及个人贡献top3的账户。
切换至标注数据统计后,可查看标注数据的趋势以及标注贡献次数排序。
分类统计可查看不同数据模块的操作次数以及审核结果统计。
个人数据
对当前账户下的操作数据次数以及审核情况进行统计,主要分为知识管理数据统计和标注数据统计。
分类统计可查看当前账号在不同数据模块中的操作次数以及审核结果统计。
会话诊断
在运营阶段,为保证服务效果稳定,需要定期对知识和模型进行更新维护,以保证在用户的问法和业务范围发生变化时,机器人仍然可以为用户提供解决方案。会话诊断工具就是基于用户的会话数据和业务专家更新的知识数据,提供语义和任务式对话两个方面的诊断。基于诊断结果的分析,可以更有针对性的定向优化。
语义诊断
运营人员需要能够简单快捷的定位语义识别错误的原因,并修正优化。特别是当出现一些人为理解不应识别错误的问题时,很可能是由于示例问质量问题或语义间混淆导致。主要检测意图和问答知识,可以将意图和问答不同类型的知识点,做同类型知识点和不同类知识点间的示例问冲突比较,针对性的处理冲突数据从而达到提升模型识别效果的目的。
- 开始诊断
点击开始诊断时,会基于当前时间点Agent内全量已审核生效的意图和问答数据进行语义分析。开始诊断后会在任务中心创建一个异步任务,任务执行成功后刷新页面即可看到诊断的结果详情。为避免同时多人操作将生成的结果覆盖,开始诊断前请务必确认上一次的诊断结果可以覆盖,且同时只能有一个正在诊断中的任务执行。
-
最近一次诊断详情
- 在诊断的信息记录中,会展示最近依次诊断的操作时间、操作人和生成的混淆知识组数量。
- 诊断结果分为意图混淆、问答混淆、意图和问答混淆三类,混淆的知识会两两进行展示,一组两两混淆的知识称为『混淆知识组』。一组混淆知识组中,主要为重复或相似度比较接近的数据问法,这些问法称为『混淆数据』。
- 建议基于每组混淆数据的数量,优先选择混淆数据量大进行处理。
- 处理混淆数据
选择一组混淆知识组进入处理详情页面后,先查看下混淆数据的基本情况,对应进行相关的操作:
- 不处理本组混淆数据:两个知识点的混淆数据量少,虽有部分重复或相似数据,但也属合理情况
-
逐条处理混淆数据:两个知识点有一定量的混淆数据属于错误标注的情况,需要进行重新标注
- 中间区域为检测出的混淆数据,选中一条数据后,可以看到和当前知识点A/B的所属关系
- 重新选择知识点后,将重新分配所属关系,点击删除可以删除所属关系或忽略单条数据不进行操作
-
合并本组混淆数据:两个知识点存在大量混淆数据,且两个知识点语义也相近,可直接进行合并处理。选择合并操作后,可以导出一份合并数据文件,包含合并后知识数据,以及被合并的原知识点。使用合并数据文件,按照下方的『混淆知识组合并操作步骤』完成合并操作。
- 合并数据文件中前两个sheet为合并后的示例问/扩展问和模版数据
- 中间7个sheet记录原始被合并的两个知识点的信息
- 最后的sheet是合并操作具体说明
混淆知识组合并操作步骤
在混淆知识组处理的详情页面,下载合并数据文件后,参照以下步骤说明完成合并操作,以便避免因操作遗漏导致发布后的服务问题。
步骤1:根据知识点A和B信息,确认要合并为意图还是问答知识
步骤2:在意图或问答库管理页面下载知识导入的模版,将『合并数据文件』的对应内容拷贝至模板中
步骤3:在意图或问答库管理页面删除原知识点A/B,将合并后的新意图导入
步骤4:若删除的知识点是意图,还需要在会话流程中修改原有关联意图的知识点的节点设置,更新为新意图或做其他处理;完成修改后,重新测试流程
步骤5:找到与原知识点A/B相关的BOT,确认合并后意图相关的对话流程或合并后问答所在目录在BOT中装配是否正确,确认无误后进行整体测试,没有问题后再次发布BOT
流程诊断
该模块针对任务式会话引擎,对流程片段配置面向实际业务场景的解决效果进行统计分析。基于数据辅助,快速定位到完成率低的流程片段,有针对性地优化任务式对话的交互设计,提升对话体验,更多的解决实际业务场景的问题。
流程片段完成率定义:用户与机器人交互对话中,按照流程的某一分支能够顺利完成的占比。 支持在流程片段中自定义完成节点,当会话交互进行到该节点时,则认为流程片段为顺利完成。未设置完成节点的流程片段则认为所有交互都是没有完成的,在完成节点设置后产生的新会话数据才可用于数据统计。 在会话流程配置页面,节点的执行模块中勾选设置是否为完成节点:
流程片段转人工定义:触发转人工事件的次数。
流程片段负向情绪:经过流程片段的用户问法的负向情绪条数。
流程片段完成率、转人工、负向情绪的统计基于BOT及对应版本,流程片段的完成率需在同一个版本的时间范围内进行数据统计,因此生效时间范围的筛选页必须在同一版本内。流程片段完成率的统计分为会话维度和场景维度。
-
场景维度:
- 定义:侧重反映流程片段设计的合理性,在上面的例子中,从流程片段对应的这个场景的维度,该流程片段对应的场景量为2,完成率50%
-
计算公式:
- 流程片段A场景维度完成率=(流程片段A对应的A场景中走到完成节点的场景数量)/(流程片段A对应的A场景总数量)*100%
- 流程片段A场景维度转人工量=所有从A流程片段转人工的次数
- 流程片段A场景维度转人工率=流程片段A场景维度转人工量/流程片段A对应的A场景总数量
-
会话维度:
- 定义:侧重反映会话维度流程片段对实际业务场景的解决效果,比如一个会话中用户对同一个流程片段重复提问了2次,第一次没有顺利完成交互,第二次完成了,那么从会话的维度认为是解决了用户的问题,对应数据统计该流程片段的会话量为1,完成率100%
- 计算公式:流程片段A会话维度完成率=(经过流程片段A且A走到过完成节点的session数量)/(经过流程片段A的session总数量)*100%
在运营阶段,使用会话诊断工具对流程片段进行针对性优化时,建议重点关注【场景维度】的流程片段完成率、转人工率和负向情绪。在场景维度列表中,通过排序功能定位完成率相对较低的流程片段【查看详情】。
会话维度完成率分析详情:
- 支持用户按小时&按天查看数据趋势图(会话量、完成量、完成率)
- 同时可以查看相关会话的详情,复制会话ID在会话记录页面进行检索查看
场景维度完成率分析详情:
- 支持用户按小时&按天查看数据趋势图(场景量、完成量、完成率、转人工、负向情绪)
-
支持查看该流程片段的热度分布,以及每个节点的完成情况,针对其中完成情况较低的节点进行进一步的数据分析和配置优化
- 热度示例:在节点通过颜色区分,颜色越深代表热度越高
- 节点完成情况:每个节点被执行则为流量入口数据,完成后则为流量出口数据。其中流量出口数据,如果不是该节点的后续节点的话应重点关注,如被统计为【会话结束】的节点,说明没有顺利完成该节点的执行
- 同时也可以根据节点名或者标签来搜索目标节点,同时也可以根据流入流出量、完成量、转人工量、负向情绪等维度来查找和重点关注某些节点,快速发现问题节点。
基于场景维度完成率的情况以及流量分布,可以快速定位到有问题的节点进行优化:
- 按节点导出未完成的会话详情,进行数据标注,并对识别错误的问题进行优化
- 按节点打开实体富集操作页面,针对流失多或兜底的节点查看query针对性富集未能正常识别的实体信息
操作日志
操作日志是对用户的“增”、“删”、“改”等操作进行真实记录,以便发现用户异常操作,追溯操作源头,以实现随时备查和审计。另外,可方便用户对数据进行记录、统计,满足其不同维度的报表需求。同时操作日志可展示数据的生命周期,用户可查看数据自创建或导入开始的全部生命周期。
名词解释
- 操作模块:对应系统左侧菜单栏,表示系统中现有的主要功能模块,划分模块也可方便用户在查询操作日志时的定位。
- 操作动作:指的是用户的增删改等会对系统数据带来影响的操作。
- 操作对象:用户进入模块后,所做的动作针对的具体对象,操作模块与操作对象是一对一或一对多的关系。
- 操作来源:“默认”为进行某项操作的常规页面。“扩展问推荐”指的是在扩展问推荐模块对问答进行修改,如“添加问答相似问”。“标注”指的是在标注模块对其它模块的内容进行修改。
若接入客户的第三方系统,则在操作来源处展示“第三方系统”。
展示页面
操作日志以列表的形式展示操作记录,列表内容包括操作的几要素:操作人、操作模块、操作对象、操作动作、时间、操作来源、查看详情。可清晰展示:“某人”在“某时间”于“某个操作模块”对“某个操作对象”做了“某个操作动作”,并对系统数据产生了影响。
筛选项
可通过时间选择和搜索查找满足条件的操作日志,点击更多筛选,可针对列表中所展示的几要素从多角度多维度进行筛选。
查看详情
列表中可简要清晰地展示操作日志,若想查看某一条记录的详细信息,可点击“操作”下的“查看”。
查看详情弹窗中展示:用户基本信息、具体的操作内容及数据流。数据流展示流数据从产生到最后一次针对此数据的操作过程中所有的操作动作,也即展示了一条数据完整的生命周期。
FAQ挖掘
在实际业务中构建FAQ知识库,很多都需要利用当前已有的业务文档人工进行FAQ知识的整理,投入人力成本高,效率低,随着自然语言理解技术的逐步发展,利用大模型能力,从文档或者对话数据中自动挖掘出用户可能提问的问答对,运营人员可以在此基础上进行进一步编辑,最终生成FAQ知识,以此来提升在知识构建阶段、运营阶段FAQ知识的构建的效率,降低运营成本。
FAQ挖掘主要能力
- 支持基于文档(.doc .docx .pdf .txt)的挖掘
- 支持对上传的文档人工干预文档分段结果,以此提升挖掘效果
- 挖掘出的FAQ支持与当前FAQ库中的知识进行缠绕检测和知识查重,并对使用者进行提示,避免挖掘出的知识通过人工审核后提交到FAQ知识库中与现有知识造成缠绕,影响业务效果
- 挖掘出的FAQ支持基于答案在文档中进行定位片段,便于进行知识核查
- 支持挖掘出的FAQ进行编辑,稍作修改构建符合预期的FAQ知识
- 支持挖掘出的FAQ进行删除,删除后可通过回收站进行回收
当前FAQ文档挖掘能力边界说明
-
文档名要求:文档名称要求包含核心主题信息,无语义的文档名会影响挖掘效果
-
主题语义清晰示例:
- 社会保障卡介绍.docx 核心主题:社会保障卡
- 商业银行资产业务说明(修订2.0).docx 核心主题:商业银行资产业务
- 关于印发《XX管理办法》通知.docx 核心主题:某一管理办法制度
-
无清晰主题语义示例
- 3587_001adi024!rtq.docx 无语义的文档标题
- 个人网上银行、手机银行业务管理.docx 多个主题对象
- 附件:本计划书25种重疾病定义.docx “本计划书”无明确指向
-
-
排版要求:文档段落结构清晰,自上而下排版,复杂灵活排版的文档不建议挖掘
- 自上而下的排版样例:
-
其它要求:非所有文档都适合进行FAQ挖掘,如:新闻文稿、网络博文、会议发言
- 非围绕一个主题,不适合FAQ挖掘,样例如下:
操作流程
基本信息:点击新建FAQ挖掘任务,填写任务名称,仅支持文档挖掘,则需要从本地中上传需要挖掘的文档,文档类型支持.doc .docx .pdf .txt;支持同时上传多个文档同时挖掘,单个任务最大支持10个文档,单个文档不能超过50M;选择挖掘后的faq存储目录,填写任务备注。
分段设置:需要设置文档挖掘前分段的标准,从分句标识符、分段最大字数、分段重叠最大字数占比进行设置:
- 分段标识符:用于模型解析文档判断句子的标识符,模型将会文档按照分句标识符将文档拆分成多个句子,再结合分段最大字数完成分段
- 分段最大字数:用于设置模型分段时,拆分段落文本的最大长度
- 分段重叠最大字数占比:通过增加文档分段的内容重叠,减少检索环节拿到的片段缺失重要语义信息的可能性,以此来得到更好更全面的回答效果。
- 分段预览
-
文档列表
- 子任务列表可以切换查看挖掘的文档内容
- 列表下方展示当前选择的文档详细内容, 供对生成FAQ核查是进行参考
-
生成的FAQ
- 人工添加FAQ
- 选中文档判断,点击「添加问答对」,支持针对选中片段,手动添加faq,大模型会根据选中片段,再次推荐faq,选择「采纳」,即可在在添加faq列表展示;
- 同时支持点击「添加faq」,手动编辑faq进行添加,支持文本&富文本格式切换;
- 快速定位
- 在核查挖掘出来的FAQ内容时,为了便于用户快速核查,点击【定位】按钮,可快速定位到此FAQ在文档中的位置(定位时使用答案进行定位,答案原文在文档中展示)
- FAQ编辑
- 在FAQ核查过程中如认定FAQ需要进行纠正,点击「编辑」按钮,可对FAQ内容进行修正,支持文本&富文本格式的切换,修正完成后点击【确定】即完成FAQ的编辑
- FAQ删除
- 在核查过程中如认定生成的FAQ无意义,可点击「删除」按钮将此FAQ删除
- 回收站
- 当删除生成的FAQ后,点击「保存」,会出现本挖掘任务的回收站,如出现误删除的操作,可点击「恢复」按钮,将删除的FAQ恢复到生成FAQ列表中
核查完成后,点击提交审核,进入审核流程,人工审核通过后,将FAQ知识写入到创建任务时选择保存的FAQ目录中。
相似问生成
相似问生成(7.0之后版本):
在意图/FAQ泛化能力不足的情况下,通过输入当前已有知识的问题描述,使用相似问生成引擎,快速生成同类问题描述的相似描述,无需投入大量人力进行编写,降低运营人力投入的同时提升对话效果。
相似问生成主要功能
- 支持基于当前已有意图、FAQ知识进行相似问生成,通知支持文件导入的方式进行相似问生成
- 创建相似问生成时,支持设定每个输入问法生成相似问的数量,上限40个
- 基于生成出的相似问进行标注,审核通过后写入到对应知识下
操作流程
点击「新建相似问生成任务」,支持对系统知识、文件导入的知识进行相似问的生成;
选择系统知识时,可选择要生成的意图知识或FAQ知识,FAQ知识可选择对标准问进行生成或FAQ知识的标准问和相似问同时生成;选择「文件导入」时,需要上传要生成相似问知识的文件。
- 当选择「系统知识时」
意图:默认选择全部,如只对部分知识进行生成,点击「新增」,弹出选择意图知识选择框,可按知识选择、条件选择,均同时支持按照创建时间和最后修改时间进行意图筛选;
- 按知识选择:支持按照用户/系统意图列表页手动逐个选择或全选当页意图,可筛选小于或大于已有一定数量示例问的意图进行泛化,选择后可在右侧已选项列表查看;
- 按条件选择:支持按照筛选条件,直接选择符合条件的所有意图进行泛化;
FAQ:默认选择全部,选择FAQ支持按照目录选择、按照FAQ知识进行选择以及按照条件选择;
- 按目录选择:如只对部分目录下的FAQ知识进行生成,点击「选择目录」,在下拉选择框中选择要进行相似问生成的FAQ目录;
- 按知识选择:如只对特定FAQ知识进行生成,支持按照创建时间、最后修改时间、以及输入FAQ内容进行检索,支持按照FAQ目录列表页手动逐个选择或全选当页FAQ,可筛选小于或大于已有一定数量相似问的FAQ进行泛化,选择后可在右侧已选项列表查看;
- 按条件选择:支持按照筛选条件,直接选择符合条件的所有FAQ进行泛化;
对FAQ进行相似问生成时,可选择生成时对FAQ的全部内容(标准问和相似问)进行生成,还是仅对标准问进行生成
按照实际情况,输入生成的数量,即每个问法要生成相似问的数量,最大支持40个。
点击「确定」,文件导入类型需要上传文档,上传完成后,点击「启动」,任务开始执行进行相似问的生成,生成完成后,任务状态进入「待标注」状态,点击「标注」进入到任务中,查看生成的知识详情
- 当选择「文件导入时」
按照实际情况,输入生成的数量,即每个知识要生成相似问的数量,最大支持200个。
点击「确定」,相似问生成任务完成,返回到任务列表,然后在列表中在对于任务的操作区点击「导入」
可现在上传模版,按照上传模版格式填入要生成的知识内容
以FAQ为例,填写FAQ的标准问,然后输入相似问,如果不需要对FAQ相似问进行相似问生成,相似问题可不填写,目录可不填写(展示为默认),填写的话在生成详情页面可按目录分类展示FAQ标准问列表
选择要上传的文档后,点击「确定」;上传完成后,点击「启动」,任务开始执行进行相似问的生成,生成完成后,任务状态进入「待标注」状态,点击「标注」进入到任务中,查看生成的知识详情
任务详情中分2部分,「基本信息」和「标注信息」。
- 基本信息查看任务的基础信息,任务名称、状态等
- 标注信息分为2类「意图」、「FAQ问答」,选择需要查看知识类型的生成情况,点击对应的标签,即可切换到对应的知识;知识分为2部分,左侧为知识的列表,右侧为生成的相似问详情;
点击知识列表的某一知识,右侧展示出所选择知识生成的相似问。运营人员可以根据参照示例问对生成的示例问法进行标注,将对的示例问法标注为「已添加」
当运营人员标注完成后,点击「提交」,进入审核流程,审核通过后会将标注为「已添加」的相似问同步到知识中。
扩展问推荐(7.0之前版本)
意图推荐:基于大模型生成能力,利用已有少量数据对新业务的意图进行自动泛化。根据意图例句生成推荐例句,点击添加到示例可直接将例句添加至意图例句。
FAQ问答推荐:基于大模型生成能力,利用已有少量数据对新业务的FAQ相似问进行自动泛化。根据已有相似问生成推荐相似问题,点击添加到相似问题可直接将问句添加至相似问题。