应用调优
在自主规划Agent中,点击调优按钮,即可进入到应用调优的界面,调优功能支持通过数据干预和规则干预(待上线)的形式对应用对话中的问答进行干预,让应用可以输出开发者期望的标准答案。
数据干预
功能示例
例如在“食品制作小助手应用”中,未经过干预、由应用直接生成的原始问答对为:
这个回答比较通用、冗长,没有明确说明注意事项,如果你希望当用户问到类似问题时,都可以按照规定的标准答案回答,就可以开启数据干预功能,在调优界面手动上传标准答案,作为干预数据:
即可实现对回答的干预,让应用可以输出预设的标准答案。
以下为调优-数据干预功能的详细说明:
设置界面
【调优-数据干预】界面中支持干预数据的上传、编辑、采纳、导出和删除等处理方式,通过维护和调整干预数据,你可以实现应用对话效果的调优。干预数据以问答对的形式储存,提问对应对话中终端用户的提问或输入,回答对应对话中应用的回复或输出。
数据干预开启后,当⽤户问题匹配标准问答对中的问题时,会⾃动调取标准回答答案输出,不再做其他分析;你可以通过多种方式获取或上传问答对,在对数据处理并采纳后,问答对将会生效并干预应用的回答,在【配置-预览与调试】界面可以测试数据干预的干预效果。
干预数据列表
待处理、已采纳、不采纳:所有问答数据将会按照处理状态(已采纳/不采纳/待处理)展示在不同的tab之下,其中:
- 待处理为从不同来源获取的用户点赞点踩、历史对话数据或知识点挖掘数据,待处理的数据不对干预过程生效;
- 已采纳为应用开发者手动标记为采纳的数据,已采纳并生效的数据会干预应用问答过程;
- 不采纳为应用开发者手动标记为不采纳的数据,不对干预过程生效,通过操作修改问答对的属性,可以改变问答对已采纳/不采纳的属性。
提问、回答、相似问:干预数据由提问、回答和相似问三个部分组成,所有提问和相似问对应同一个答案。当⽤户问题匹配到已采纳列表下问答对中的问题或相似问时,会⾃动调取标准回答答案输出。
来源:展示数据导入的来源,包括在线抽取、用户反馈、标答上传三种类型。
状态:已采纳数据列表中还会展示数据状态,应用开发者采纳数据后,平台将进行安全校验,校验通过后显示为「已生效」,正在校验的显示为「校验中」,由于问答对存在安全或合规问题、校验不合格的显示为「失效」;「已生效」已采纳并生效的数据会干预问答过程。
添加干预数据
1. 自动获取
数据干预支持通过回流用户反馈、抽取历史对话和挖掘知识库信息自动获取用于干预的数据,同时帮助开发者了解应用对话和用户反馈的情况,提供进行干预的参考。
问答对自动获取支持三种来源的配置:用户反馈、在线抽取、离线挖掘(待上线),自动获取到的问答对数据统一为待处理状态,你可以通过采纳问答对使这些数据生效。
来源配置 | 详情 |
---|---|
用户反馈 | 自动回流线上的用户点点踩问答对数据导入【调优-数据干预】库中,需要设置最大储存数,当回流的数据超出最大储存数时,会按照时间顺序保留最新的数据 |
在线抽取 | 抽取线上用户问题和应用回答,生成问答对数据导入【调优-数据干预】库中,需要设置最大储存数,当回流的数据超出最大储存数时,会按照时间顺序保留最新的数据 |
离线挖掘(待上线) | 对应用关联的知识库中的知识切片自动进行问答对挖掘,根据知识库中的知识点内容生成问答对数据导入【调优-数据干预】库中 |
2. 标答上传
除此之外,你可以通过手动上传的方式导入问答对数据,支持通过表单逐个添加和通过文件批量导入两种方式。
- 手动输入:你可以在表单中手动输入提问和回答,提问长度不超过200字,回答长度不超过2000字,点击加号会添加相似提问,补充的相似提问将会匹配到同一条回答。
- 批量导入:你可以通过上传文件实现大量问答对的批量导入,请按照平台提供的模版进行填写,避免出现格式问题导致的上传失败。
批量导入时,对文件的大小和数据量有限制要求:一次仅能上传一个xlsx文件,且文件大小不超过20M;每个文件不超过10,000个问答对,超出将会上传前10,000个问答对。请勿超出上传限制。
处理干预数据
1. 编辑数据
- 编辑:点击编辑按钮,支持对单个问答对进行编辑,你可以修改提问、回答和推荐问的内容。
2. 操作数据
- 处理:在待处理页面点击处理按钮,可以选择采纳或不采纳问答对。采纳后的问答对将会进入已采纳页面,校验生效后会对应用对话进行干预;不采纳的问答对将会进入不采纳页面,在干预中不生效,但会保留数据。
你也可以在已采纳/不采纳页面调整问答对的处理状态。
- 复制:点击复制按钮,支持对单个问答对进行复制,复制时仅会复制提问和回答,不会复制相似问。
- 删除:点击删除按钮,将会删除该条问答对,你也可以勾选数据后进行批量删除;删除后不可恢复,请谨慎操作。
3. 导出数据
你可以对勾选的数据进行导出,导出的数据将会包含提问、回答、来源、用户反馈评价等信息,导出时支持两种不同的文件格式,你可以自行选择。在进行大量数据导出时,数据处理需要一定时间,请耐心等待。