大模型知识问答
大模型知识问答引擎通常是客户升级大模型对话系统的第一步,能够在客户现有的业务基础上提供非结构化知识问答能力、增强知识问答多轮效果、减轻必须依赖的知识构建和维护成本。
在当前大模型对话能力,还存在可控性、安全性、并发延时等问题的情况下,在多种知识结构基础上引入大模型生成式对话引擎,与原有的专业模型判别式对话引擎,形成双引擎机制。在以下方面提供产品化能力,具备可规模化交付条件:
- 效果优化,判别式对话引擎能力可作为生成式对话的干预模块,对于生成后不符合预期的问题、易投诉的服务流程仍可采用任务式对话、FAQ问答等能力人工配置后响应客户;
- 性能优化,对话中控串行调度,优先进入判别式对话引擎,当无法匹配或回复用户问题时,调用生成式对话引擎获取回复,提升对话效果的同时也可以降低生成式对话引擎的并发,减少机器资源投入;
- 服务兼容,对于已经建设智能客服的企业,可在现有的对话系统能力基础上,增强大模型生成式对话引擎能力,在升级优化期间,可保障现有服务质量不受影响。
创建方式
如果用户希望使用大模型文档问答的能力,可在新建租户时为用户创建的租户授权大模型能力中的,大模型知识问答2.0,即可使用其能力。
大模型文档问答应用构建
在AI原生应用首页,创建文档问答应用,点击确定完成文档问答应用构建。
知识管理
- 在知识管理页面,用户可通过构建不同的知识目录用于对文档的分类管理
-
通过文档的上传,完成知识的导入,导入完成后可用于后续的知识问答
- 支持单文件或者通过压缩包进行文件上传,文件格式支持pdf、 txt、 doc、 docx,单应用支持10000个文档,单文件支持10M
- 文档上传完成后并完成学习后,可查看文档的详情,可对解析完成后的分段信息和分段知识进行干预,以便提升问答过程中的检索效果
- 分段信息:即展示基于文档原文,模型根据配置的分段规则拆分出的一个个文档分段
- 支持对文档分段进行新增
当出现分段不符合预期时,可点击新增分段,添加新的分段信息
新增分段时需在文档原文区域通过鼠标划选分段的内容(被选中的文本内容会高亮展示),点击确定完成新增分段内容的选择(这样可以记录下分段信息在文档中的位置,在问答中可以追溯回复答案的来源,让回复有据可依)
- 支持对文档分段进行编辑
当出现分段内容不符合预期,需要增加、删除部分内容时,可对当前的分段内容进行修改,点击需要修改分段信息的编辑按钮,进入编辑态
分段信息进入编辑状态后,可点击定位按钮,文档原文中会自动定位到当前分段在文档中的位置,并将分段的内容进行高亮展示;修改后的内容需在文档原文区域通过鼠标划选分段的内容(被选中的文本内容会高亮展示),点击确定完成分段内容的选择(这样可以记录下分段信息在文档中的位置,在问答中可以追溯回复答案的来源,让回复有据可依)。
在分段信息内容编辑框中也可进行内容的修改。建议只在模型基于分段内容总结回复有偏差时,仅需修改少许内容即可纠正回复结果时使用,大篇幅修改会导致分段信息和原文不符,在回复内容中展示来源时,会出现回复与来源不一致,造成不好的体验。
- 支持对文档分段信息进行删除
点击删除,需要二次确认,确认后完成删除,删除后的分段信息不会用于问答。
-
分段知识:分段知识用于在用户提问时进行问题相关性匹配,当匹配相似度达到设定的阈值,即可将分段知识所关联的分段信息给到大模型进行总结回复
- 支持对分段信息进行新增、编辑、删除
- 点击某个分段信息,即可展示此分段信息下的所有分段知识,分段知识的内容直接关系到问答的准确性,在整个文档知识问答过程中,系统接收用户提问的内容,然后在文档知识中搜索和用户提问相关的分段知识,获取大于等于文档置信度(在Agent设置-知识库设置页面中配置)的分段知识所关联的分段信息输入给大模型,大模型基于用户提问和输入的分段信息进行总结回复。
- 当出现大模型回复错误,可通过对分段知识的调优完成badcase的干预;例如:用户某个提问,输入给大模型的分段信息不是预期分段信息,则可在预期分段信息关联的分段知识中增加用于提问的分段知识完成快速的干预优化。
分段策略管理
-
用于配置导入文档在文档解析过程中,对文档分段的策略
- 分句标识符:用于区分文档中的句子,支持配置1个或多个,最多20个
- 分段最大字数:用于设置模型分段时,拆分段落文本的最大长度
- 分段重叠最大字数占比:通过增加文档分段的内容重叠,减少检索环节拿到的片段缺失重要语义信息的可能性,以此来得到更好更全面的回答效果。
- 知识增强:基于大模型对文档分段进行知识增加,提升大模型的问答效果
应用设计
应用设计用于配置关联知识范围、对话交付能力/效果、模型参数进行配置调优,以此来构建出支持不同应用场景和符合业务预期的AI原生应用。
- 关联知识 用户可以在关联知识中,基于目录选择本次希望可以生效的文档知识。用户勾选了目录,将生效该目录下训练成功的文档知识。
-
欢迎语:用户可以在此配置知识问答应用的欢迎语
- 开关关闭:该应用将不会展示欢迎语
- 开关开启:用户可直接将欢迎语配置在文本框中
-
可控范围回复:功能开启后,该应用仅会利用‘关联知识’的范围领域知识进行回答,对于范围外问题将回答您配置的兜底话术
- 开关关闭:该应用将启动大模型的通识问答能力
- 开关开启:该应用仅会利用‘关联知识’的范围领域知识进行回答,超过知识范围的兜底话术可以如图的文本框中配置,可配置多个
-
推荐问:开启此开关后,对话中将会出现推荐问,优化对话交付体验
- 开关关闭:回复过程中不会进行推荐问输出
- 开关开启:开关开启后,可展示红框内的推荐问
-
多轮能力:
- 开启时,大模型知识问答将支持多轮能力
- 开关关闭:将不会结合上文信息进行理解
开关开启:将结合上文信息进行理解,例如下图所示,将『它』会理解成上文『澳门基本法纪念馆』
-
来源展示:开启时,大模型知识问答在对话测试中,会展示对应回复的来源文档以及脚注
- 开关关闭:将不展示下图红框的内容
- 开关开启:开关开启后,可展示红框内的内容
-
参数选择:在右上角,点击 Ernie-bot-chat,可展示该模型的可调整的参数
- 多样性:这是一个控制模型生成文本多样性的参数。较高的温度值(例如1.0)会使生成的文本更加随机和多样化,而较低的值(例如0.2)会使生成的文本更加确定和保守。
- 采样范围:这些参数用于控制模型生成文本时的采样策略。top_k(也称为Top-k采样)会限制模型在生成时考虑的最高概率标记的数量。
- 词汇控制:根据新词是否出现在目前的文本中来对其进行惩罚,正值将会降低模型生成新话题的可能性。
- 重复控制:该参数用于控制模型生成文本时对重复内容的惩罚程度。正的惩罚值(例如1.2)会使模型更加倾向于避免生成重复的词语或短语,而负的值(例如-1)会允许模型生成更多重复内容。
- 参数配置完成后,点击保存完成应用设计策略的修改,即可在对话测试中进行效果测试,如测试完成,可点击发布完成应用的发布,可对外提供使用。
对话测试
对话测试可用于模拟测试对话效果
- 对话过程中支持对大模型回复进行数据反馈,通过反馈可用于后续模型训练让大模型理解能力更强
- 支持展示回复来源,定位到文档段落原文,让回复有据可依
- 支持推荐客户可能想问的问题,让体验更好
- 支持展示大模型回复的对话思维路径,作为运营调优的有力助手,同时支持对检索效果的快速干预和调优
策略中心
支持配置可调优大模型回复的各种策略配置,当前支持对检索结果策略的调优配置
- 检索分段置信度:置信度用于干预基于文档查询到的知识段落,设定的置信度越高,则要求对用户提问与片段的相似度越高,可能导致无法生成答案,反之设定的置信度越低,查询到的片段越多,可能影响回复的准确性,请谨慎修改!
- 检索最大片段数:输入给大模型进行知识问答的最大知识片段数量
应用发布
当应用构建完成并测试通过后可发布对外提供服务,发布成功后可在应用管理中查看当前应用的状态、apikey、以及体验链接(用于对话测试)。