【AppBuilder知识库应用调优】如何让大模型听你的话！——应用「王者荣耀英雄档案」

创意

需求分析

• • 当用户要查询某一个英雄的档案的时候，大模型需要从知识库中查询这个英雄的信息，按知识库的内容展示给用户。
  • 当用户想看档案中的某一项信息的时候，大模型就把知识库中的这个英雄的，这一下信息展示出来。
  • 严格按知识库来回答

搭建知识库

• • 一个问题，或者说一个切片的大小是有上限的，应该是1200个字符，如果一个问题超过了上限，在文件导入的时候就会报错。
  • 这种方式，在知识库检索的时候，应该是按你设置问题，进行检索的。这点很重要，用户的问题跟你导入知识库的这些问题，越接近匹配度就越过，这个问题（这个切片）就会被召回。这就对咱们问题的设计要求比较高了。
  • 要对知识库进行多次命中测试，根据测试的结果来设置，召回的匹配度和召唤切片的数量，具体设置看下面的截图：

• • 这个召唤的匹配度是个经验值，太低找回的内容太多，没有办法保证大模型会采纳你期望的答案。这时大模型的表现就很不稳定，同样的问题多次尝试，结果完全不同。（这让我这种搞编程的很崩溃，这也是为什么我要跟大家分享【如何让大模型听你的话】的原因）
  • 还有这个召唤数量，并不是越多越好，首先我猜测，所有召唤的内容都会当作输入，连同我们的问题一起喂给大模型。一方面会增加了大模型在众多信息种找到最适合的难度，降低响应速度。另一方面还会消耗我们更多的token哦。
  • 要准确的召唤我们预设的那个最佳答案，就要求我们在问题设置上下功夫。还是用我自己这个知识库为例：
    • • 最初我的问题设置是这样的：

• • • 后来我进行了优化：

• • • 再后来我我发现用户往往只会输入英雄的名字，这样就没有办法成功匹配到档案，跟这个英雄相关的问题，匹配的很接近。

角色指令优化

• 首先像知识库的这种场景，咱们希望用咱们预设的标准答案来回答用户的问题，就在“角色指令”提要求：“你要将提供给你的信息进行整理，不得篡改或增加英雄档案的信息。”不用客气，直接告诉他，不能改。——提要求
• 还是我自己应用的例子，加上限制，好了一些，但是还是不稳定，他还是对一些信息进行了省略，（太顽皮！）没有办法我只能一点点再给他提出更具体的要求，比如我发现他在给出英雄技能的时候总是只说技能名称，我就增加一条：“在描述英雄技能时，详细给出 被动技能、技能1、技能2、技能3 包括技能的冷却值和消耗”。效果好很多了，果然就不敢擅自做省略了。——细化要求，不行就再细化
• 后来我又发现，在回答英雄档案的时候多个属性经常一行打印，效果不佳，我就增加一条“档案中的各项属性要纵向排列展示，这种方式会更清晰易读。”——格式也可以提要求
• 说一个场景的场景，查看某个英雄的档案，然后可能用户会继续发问，比如他的皮肤啊、他的出装啊等等，这时候就隐含了一个人称的替换。“他的出装”到知识库里没有办法搜索到正确的答案。要让大模型知道这里的他是谁，看一下我给他的提示：“ 关注用户提到的英雄名字，若问题中未提及，则引用用户上文中提到的英雄，直至用户提及新的英雄。”确认大模型可以领会这个意思，在知识库搜索的时候会替换成英雄的名字——可以支持逻辑处理
• 这里我再分享一个我认为非常有意义的经验，还是从实际的场景出发，用户经常是上来就给一个英雄的名字。于是我就告诉大模型，“当用户只告诉你英雄的名字，就表示用户想要查询这个英雄的英雄档案。你要把英雄名字拼成‘xxx的英雄档案’，然后查询知识库”。经过多次尝试，在用户第一次输入英雄名字的时候，这条提示不会生效。后来我通过了解知识库问答的流程，明白了这条提示肯定是无法执行的。我看看这流程图就明白了，我们的问题会先到知识库里检索，然后才会一起给大模型处理，所以肯定是没有办法做到的。——第一个问题的解锁大模型无法对问题进行加工

• 还有就是如果召唤多个切片，大模型会综合各个切片的内容，选择对符合问题的答案来回答。但是还是尽量给他最准确的那一个。——优质的知识库和巧妙的问题设计至关重要