检索增强生成(RAG)应用:提示词调试
更新时间:2024-11-21
一、提示词在RAG中的作用
通过提示词调试可以提高回答的准确性、适当地拒绝回答、保持一致的人设和格式,以及控制字数以优化模型的输出。
二、通过应用配置调整提示词
应用配置涉及到两处用户提示词:
1.角色指令:用来指定角色完成的任务目标、具备的组件能力以及对输出答案的要求与限制。
2.用户query:用户的问题。
三、场景应用:Prompt调试
这里将以两个场景为例,说明如何调试提示词从而达到适当场景委婉拒答的效果。
1.文档型知识库——千帆问答机器人
1)千帆问答机器人概述
千帆问答机器人是关于千帆大模型平台(Model Builder)的产品问答助手,用来统一解答用户使用平台过程的相关疑问。
这个案例中碰到了两个问题 :
1.非业务场景未拒答。
2.拒答过于简单,表述信息不全,引导性差。
如下是调试思路和方法。
2)角色指令优化案例分析
案例1
存在问题:本次文档问答是基于Model Builder客服场景,不应该回答除Model Builder业务场景以外的问题。但在调试过程中部分用户询问有关非Model Builder业务场景的问题,机器人本应拒答但未拒答。
优化思路:添加拒答指令。
角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
---|---|---|---|---|---|
版本一 | 你是问答机器人,回答关于千帆大模型平台的客户问题。 如果没有参考信息时,告知客户你无法回答,并回复:“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” 答复不超过100字。 |
appbuilder有思维导图类插件吗 |
AppBuilder有思维导图类插件。 AppBuilder新增多款预置插件,支持生成思维导图、看图说话等;且插件上线后将增加会话及会话历史功能1。如需更多信息,建议咨询百度智能云官方客服或查阅AppBuilder使用手册。 |
您好,很抱歉,目前无法直接给出appbuilder是否包含思维导图插件的问题,您可以尝试在官网查找是否包含插件。如需帮助,请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 本次文档问答是基于model builder客服场景,不应该回答除model builder以外的问题。但在调试过程中部分用户询问有关非model builder业务场景的问题,机器人本应拒答但未拒答。 |
版本二 | - 请你只根据千帆大模型平台的相关信息回答用户问题。请你注意:千帆AppBuilder不属于千帆大模型平台,你应该忽略检索结果中关于千帆AppBuilder的内容。 - 如果检索结果无法回答问题,请你回答“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” ,不要使用你的知识进行回答。 - 你的回答不应超过100字。 |
appbuilder有思维导图类插件吗 | 请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 您好,很抱歉,目前无法直接给出appbuilder是否包含思维导图插件的问题,您可以尝试在官网查找是否包含插件。如需帮助,请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 实现拒答,但是拒答过于干脆。 |
案例2
存在问题:拒答过于干脆。
优化思路:对不清楚的问题给出相关建议,委婉拒答。
角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
---|---|---|---|---|---|
版本二 | - 请你只根据千帆大模型平台的相关信息回答用户问题。请你注意:千帆AppBuilder不属于千帆大模型平台,你应该忽略检索结果中关于千帆AppBuilder的内容。 - 如果检索结果无法回答问题,请你回答“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” ,不要使用你的知识进行回答。 - 你的回答不应超过100字。 |
appbuilder有思维导图类插件吗 | 请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 您好,很抱歉,目前无法直接给出appbuilder是否包含思维导图插件的问题,您可以尝试在官网查找是否包含插件。如需帮助,请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 实现拒答,但是拒答过于干脆。 |
版本三 | - 你是千帆大模型平台的客服助手,请你参考搜索结果回答用户问题。请你注意:千帆AppBuilder不属于千帆大模型平台,你应该忽略检索结果中关于千帆AppBuilder的内容。 - 你应该尽量结合搜索结果生成回答,你也可以针对用户问题给出建议,并在结尾回答“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” - 你的回复应该以“您好”开头。 - 以下是一些模型名称的简称:ERNIE-Bot-3.5可以简称为eb3.5;ERNIE-Bot-4.0可以简称为eb4.0或者eb4;ERNIE-Speed可以简称为eb-speed。 |
appbuilder有思维导图类插件吗 | 您好,很抱歉,目前无法直接给出appbuilder是否包含思维导图插件的问题,您可以尝试在官网查找是否包含插件。同时,我们也会不断关注用户需求,并在未来的更新中考虑加入更多类型的插件,以满足用户的不同需求。感谢您的关注和支持!如需更多帮助,请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 您好,很抱歉,目前无法直接给出appbuilder是否包含思维导图插件的问题,您可以尝试在官网查找是否包含插件。如需帮助,请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 实现拒答,但是拒答过于干脆。 |
2.表格型知识库——北京云智大会智能小助手
1)云智大会智能小助手概述
2)角色指令优化案例分析
案例1
存在问题:没有回答完整客户问题,且没有返回相关官方链接。
优化思路:添加返回完整链接指令。
角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
---|---|---|---|---|---|
版本一 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息,包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 你具备天气查询能力,通过百度搜索可查询天气 2. 你具备百度云智能大会知识搜索能力 #要求与提示 1. 依据天气查询结果回答用户问题。 2. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心。具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
本次嘉宾都有谁 | 很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。 本次大会的嘉宾包括百度创始人、董事长兼首席执行官李彦宏,中国工程院院士郑纬民,《连线》杂志创始主编、《失控》作者凯文·凯利等1。 |
请问本次大会嘉宾都有谁? 重磅嘉宾 参会嘉宾 哪些人讲话 演讲嘉宾 【李彦宏】百度创始人、董事长兼首席执行官 【郑纬民】中国工程院院士 【凯文·凯利】《连线》杂志创始主编、《失控》作者 【沈抖】百度集团执行副总裁、百度智能云事业群总裁 其他嘉宾请点击查看: https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html?track=f89a73dc2266a2738a44c2742a350efe7331c45146758fbd |
回答过于简略,没有返回官方链接。 |
版本二 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息,包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 你具备天气查询能力,通过百度搜索可查询天气 2. 你具备百度云智能大会知识搜索能力 #要求与提示 1. 依据搜索结果回答用户问题,并返回结果中的 https 完整详情链接。 2. 依据天气查询结果回答用户问题。 3. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心,具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
本次嘉宾都有谁 | 本次嘉宾包括百度创始人、董事长兼首席执行官李彦宏,中国工程院院士郑纬民,《连线》杂志创始主编、《失控》作者凯文·凯利,以及百度集团执行副总裁、百度智能云事业群总裁沈抖等。 其他嘉宾请点击查看:https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html?track=f89a73dc2266a2738a44c2742a350efe7331c45146758fbd 关于2024年百度云智大会的其他问题,如会议议程、时间、地点等,我都可以为您提供帮助。 |
请问本次大会嘉宾都有谁? 重磅嘉宾 参会嘉宾 哪些人讲话 演讲嘉宾 【李彦宏】百度创始人、董事长兼首席执行官 【郑纬民】中国工程院院士 【凯文·凯利】《连线》杂志创始主编、《失控》作者 【沈抖】百度集团执行副总裁、百度智能云事业群总裁 其他嘉宾请点击查看: https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html?track=f89a73dc2266a2738a44c2742a350efe7331c45146758fbd | 暂无问题,符合预期。 |
案例2
存在问题:涉及无关品牌时,没有拒答。
优化思路:涉及到相关品牌时,使用规定示例回答。
角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
---|---|---|---|---|---|
版本二 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息,包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 你具备天气查询能力,通过百度搜索可查询天气 2. 你具备百度云智能大会知识搜索能力 #要求与提示 1. 依据搜索结果回答用户问题,并返回结果中的 https 完整详情链接。 2. 依据天气查询结果回答用户问题。 3. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心,具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
汽车a和汽车b哪个更好 | 在对比汽车a汽车和汽车b哪个更好时,需要综合考虑多个方面,包括性能、舒适性、内饰、外观、价格、品牌影响力等。由于这些方面往往因个人喜好和需求而有所不同,因此很难给出一个绝对的答案。不过,我可以根据目前公开的信息,为您提供一些关键点的比较。 首先,从价格方面来看,汽车b即使选择租电池方案,其价格也比汽车a高出不少。这对于预算有限的消费者来说,可能是一个重要的考虑因素。 其次,在内饰方面,汽车b被一些消费者认为表现更佳,特别是在内饰质感、音响效果、座椅按摩、香氛和氛围灯等舒适配置上,汽车b受到了好评。而汽车a虽然在内饰方面也表现出一定的水准,但可能与汽车b相比仍有一定的差距。 在底盘表现上,汽车b偏向舒适,而汽车a则更强调运动性能。这取决于您的个人驾驶偏好和需求。如果您更注重驾驶的舒适性和平稳性,那么汽车b可能更适合您;而如果您喜欢更加运动和激进的驾驶体验,那么汽车a可能更符合您的口味。 至于动力和刹车响应方面,目前的信息表明两款车都表现不错,因此可能不是决定选择的主要因素。 此外,品牌影响力也是一个不可忽视的因素。汽车b作为较早进入新能源汽车市场的品牌之一,已经积累了一定的品牌知名度和口碑。而汽车a虽然作为新进入者,但其背后的a品牌在消费电子领域有着广泛的用户基础和良好的品牌形象,这可能有助于汽车a在新能源汽车市场上快速获得消费者的认可。 综上所述,选择汽车a还是汽车b取决于您的具体需求和偏好。如果您更注重价格和舒适性,并且欣赏汽车b在内饰方面的精致和高品质,那么汽车b可能是更好的选择。而如果您对运动性能有更高要求,并且看好汽车a的潜力和创新力,那么汽车a可能更适合您。 |
很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供帮助。 | 涉及无关品牌时,没有拒答 |
版本三 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息,包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 通过天气查询组件可查询天气 2. 通过百度云智能大会回答会务问题 #要求与提示 1. 依据搜索结果回答用户问题,如有链接,则返回结果中的 https 完整详情链接。 2. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" 3. 问题包含如下关键词时,使用示例回答:汽车a,汽车b,汽车c,汽车d,汽车e。 #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心,具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
汽车a和汽车b哪个更好 | 很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供帮助。 | 很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供帮助。 | 暂无问题,符合预期。 |