Agent设置
名词解释
AI Agent:Agent = LLM + Planning 计划+ Tool use 执行 + Feedback 纠正偏差。在传统大语言模型的基础上,Agent不仅仅停留在和大模型的聊天对话,其可以借助外部工具直接帮助我们完成某些任务。在百度客悦智能客服平台中,将采用LLM+NLP双引擎结合方式,搭建AI Agent。
召回置信度:在百度客悦智能客服平台中,召回置信度是一个可设置的变量,用来调节意图答案的意图识别。在意图识别的过程中,意图识别置信度高于该设定值则可召回,按置信度从高到低顺序执行。用户可调节该值来调整 Agent 在对话过程中的灵活性。
推荐置信度:在百度客悦智能客服平台中,推荐置信度是一个可设置的变量,用来调节意图推荐和FAQ推荐。意图匹配得分低于召回置信度且高于推荐置信度时,系统会根据对话引擎选择推荐问题进行澄清。
功能概述
Agent设置是对AI Agent基础设置与全局变量配置的入口,用户可在此调节AI Agent中LLM与NLP的整体回复风格,
1、基础信息设置
1.1 Agent名称编辑
- 支持用户编辑当前 Agent 名称
1.2 Agent简介编辑
- 支持用户编辑当前 Agent 简介,允许为空
1.3 Agent头像编辑
- 支持用户编辑当前 Agent 简介,允许为空,当头像为空时,系统将为 Agent 生成默认头像
2、全局设置
2.1 召回置信度设置
- 用户点击 Agent 详情中左侧导航栏「设置」按钮,进入「全局设置」配置界面
-
「召回置信度」为小模型NLU的意图召回置信度阈值设置,意图识别置信度高于该设定值则可召回,默认值0.9,调整步长0.1,最大值1;
- 当用户鼠标 hover 标题旁提示标识上时,可展示「召回置信度」名词解释;
2.2 猜你想问设置
根据用户的输入内容,在对话框里面推荐用户可能想问的问题,推荐的问题是意图例句或FAQ标准问,与用户输入内容的匹配置信度高于以下阈值的意图例句或FAQ标准问会被推荐,推荐出来的最大条数,也可以进行设置。
- 用户可分开设置当前 Agent 下「意图推荐置信度」与「FAQ推荐置信度」,默认值0.5,调整步长0.1,最大值1;
- 用户可分别设置意图例句和FAQ的最大推荐条数;
2.3 引导话术设置
-
「任务引导」:如果用户跳出任务对话流程,可用话术引导用户回到原任务对话流程。
- 可在「全局设置」界面,开启 / 关闭「任务对话引导」;
- 可设置最大引导次数,当连续引导该次数后,将不再进行引导;
- 引导话术可配置,默认句式:「您的{&last_intent}业务尚未办理完成,现在为您继续办理,{&last_task_prompt}」;引用的last_intent变量代表上一个意图,last_task_prompt代表上一个任务对话中Agent的提问;
-
「敏感词拒答」:用户回复如命中敏感词,可拒答并话术引导
- 支持敏感词拒答开关(默认开启);
- 支持用户编辑拒答话术,如「无法回答您的问题,请换个问题试试」;
- 如需编辑敏感词库,请到「基础资源」模块的敏感词库进行配置;
-
「系统异常或超时」:系统出现异常或超时,系统将触发话术引导
- 默认话术:「系统忙不过来了,请稍后重试」,支持用户编辑;
2.4 未匹配设置
- 未匹配设置:如用户的回复无法匹配大到意图和知识,可开启大模型闲聊或者话术引导
- 默认开启大模型闲聊,如果关闭后,需要配置话术。大模型闲聊设置包括temperature以及人设
- temperature:这是一个控制模型生成文本多样性的参数。较高的温度值(例如1.0)会使生成的文本更加随机和多样化,而较低的值(例如0.2)会使生成的文本更加确定和保守;
- 人设认定:用于设定人设,例如当前创建的机器人是一个政务问答助手,那可以将此机器人人设设定为「你是一个政务服务专员,请以最专业的服务方式为公民进行问题解答。」默认人设:你是一个资深客服,懂得使用话术拉近与客户距离;
-
回复风格
- 必填,默认选择通用,下拉可选择
- 内置风格:通用(内置)、实际风格为友好风格,内置风格内容不可修改选择内置风格时,不可编辑,可测试
-
用户可选择系统预置的回复风格,也可新建自定义回复风格,操作方式如下:
-
在「回复风格」下拉框中选择「新建回复风格」,并输入「风格名称」、「风格描述」,完成编辑后,点击「确定」完成风格添加,添加后的风格出现在风格列表中,点击「取消」不进行添加
- 「风格名称」:必填,长度10个字,支持输入中英文、数字、下划线,且不能以数字、下划线开头;风格名称Agent 下不能重复,重复时提示;
- 「风格描述」:必填,用于描述要添加的风格内容,长度最大500字,不限制输入内容;风格描述可参考下方示例:
- 当用户选择自己添加的风格后并点击「编辑」,系统将弹窗并展示风格的名称与描述,支持二次编辑,校验规则和交互规则同新建回复风格
-
其中内置回复风格的名称和描述不可编辑,自定义风格的可编辑;
- 「风格测试」:支持用户对当前回复风格进行快速测试,当用户点击「风格测试」按钮,弹出测试窗口,输入要进行回复风格的问题、答案,然后点击开始测试,大模型会基于选择的回复风格、问题、答案表述进行风格化,然后输出风格化后的回复答案
- 自定义闲聊prompt:当平台内置的闲聊大模型效果无法满足业务诉求时,可自定义编写闲聊prompt。
可根据业务需要,编辑自定义的prompt,点击『编辑与测试』按钮后,在如下弹窗进行prompt编辑与测试。我们提供了一个参考模板,您可以在其基础上进行修改。可插入三个变量,query为必填,是带上下文信息的用户输入;persona为非必填,是设定大模型回复时的人设定义;style为非必填,是设定大模型回复时的回复风格。
编辑后可进行测试,填入测试的query,点击如下测试按钮进行测试。
可看到回复内容如下:
如果满意,则可点击应用,如果不满意可重新编辑。
3、知识库设置
3.1 大模型设置
- 用户可在「知识库设置」→「模型设置」中配置大模型在当前 Agent 中的回复风格
-
temperature
- 这是一个控制模型生成文本多样性的参数。较高的温度值(例如1.0)会使生成的文本更加随机和多样化,而较低的值(例如0.2)会使生成的文本更加确定和保守。
- 必填,默认值0.1,调整步长0.1,最大值1
-
人设认定
- 非必填,用于设定人设,例如当前创建的机器人是一个政务问答助手,那可以将此机器人人设设定为「你是一个政务服务专员,请以最专业的服务方式为公民进行问题解答。」,最大长度200个字;
- 默认人设:你是一个资深客服,懂得使用话术拉近与客户距离。
-
回复风格
- 必填,默认选择通用,下拉可选择
- 内置风格:通用(内置)、实际风格为友好风格,内置风格内容不可修改选择内置风格时,不可编辑,可测试
- 用户可选择系统预置的回复风格,也可新建自定义回复风格,操作方式如下:
-
在「回复风格」下拉框中选择「新建回复风格」,并输入「风格名称」、「风格描述」,完成编辑后,点击「确定」完成风格添加,添加后的风格出现在风格列表中,点击「取消」不进行添加
- 「风格名称」:必填,长度10个字,支持输入中英文、数字、下划线,且不能以数字、下划线开头;风格名称Agent 下不能重复,重复时提示;
- 「风格描述」:必填,用于描述要添加的风格内容,长度最大500字,不限制输入内容;风格描述可参考下方示例:
-
当用户选择自己添加的风格后并点击「编辑」,系统将弹窗并展示风格的名称与描述,支持二次编辑,校验规则和交互规则同新建回复风格
- 其中内置回复风格的名称和描述不可编辑,自定义风格的可编辑;
- 「风格测试」:支持用户对当前回复风格进行快速测试,当用户点击「风格测试」按钮,弹出测试窗口,输入要进行回复风格的问题、答案,然后点击开始测试,大模型会基于选择的回复风格、问题、答案表述进行风格化,然后输出风格化后的回复答案
-
自定义文档知识prompt
- 默认关闭,关闭时使用平台预置文档知识prompt,如果预置prompt无法满足业务需求,可开启自定义文档知识prompt,自行进行编排和测试
-
开启后可对prompt进行编排和测试
- 点击编排与测试,进入到prompt编排与测试窗进行操作
-
prompt编辑
-
在prompt编辑区进行prompt的编辑和修改,系统提供query、documents、persona、style 4个内置变量,其中query、documents为必填变量,persona、style可选,按实际情况将以上变量插入到prompt中(每个变量仅可添加一次,不支持用户自定义变量)。
- query:用户输入的提问
- documents:基于用户输入的提问从上传的文档知识中检索到相关性较高的文档分段内容
- persona:设定⼤模型回复时的⼈设定义
- style:设定⼤模型回复时的回复风格
-
prompt测试
prompt编辑完成后可在变量设置与测试区域填写测试变量的内容
- query:输入要测试的提问
- documents:输入输入给大模型用于回答输入提问所需的文档分段内容,可手动填写或填写query完成后点击自动填写,系统自动使用query从上传的文档中搜索到相关的文档分段内容用于测试
- persona:自动填充模型设置的人设内容设定,不可修改,如需修改请在模型设置中修改
- style:展示当前选择的风格配置,不可修改,如需修改请在模型设置中修改
填写完成后,点击测试稍等片刻,将会输出测试结果
测试完成符合预期后,点击应用完成prompt编排,如需生效到线上,请发布Agent
3.2 知识库检索设置
- 「文档检索分段数」:用于设定与用户问题相关且置信度超过设定文档检索置信度的最大文档片段数量;必填,默认2:设置范围1-5
- 「文档检索置信度」:用于筛选文档知识的置信度阈值,大于等于此阈值则被召回;必填,默认:0.60:设置范围0-1,步长0.01
- 「FAQ检索置信度」:用于筛选FAQ知识的置信度阈值,大于等于此阈值则被召回;必填,默认:0.80:设置范围0-1,步长0.01
3.3 其他设置
-
来源展示:开启后会在对话回复中展示「脚注和来源文档」,关闭则不展示「脚注和来源文档」,关闭时同样API接口输出也不带来源信息和脚注
- 「来源展示」默认开启
-
FAQ大模型回复:关闭时使用FAQ配置的答案直接回复,默认关闭;开启时,当匹配FAQ时将会使用大模型基于FAQ的答案风格改写后或总结后回复,可选择「风格回复」与「大模型总结」
- 「风格回复」:将FAQ答案基于模型设置中配置的回复风格输入给大模型,进行风格回复
- 「大模型总结」:将FAQ答案输入给大模型,大模型基于设定的人设、回复风格综合进行总结回复