Prompt 技巧宝典（四）：生成知识提示
大模型开发/技术交流
- LLM
- Prompt
2023.10.261704看过
在一些场景中，我们希望模型能够生成一些特定背景或领域的知识，在这种情况下，通过零样本或少量样本能等方式效果较差。
往往，遇到此类场景的需求，你可能想到的是微调（Fine-turning），但是微调的成本太高了。
除了以上几种提示技术外，在一篇论文中也提到了“生成知识提示”的方法。https://arxiv.org/pdf/2110.08387.pdf
论文中作者提出的“生成知识提示”方法不需要针对知识进行微调（有监督训练）或访问结构化的知识库，在其实验结果中证明，这种提示方法优于少样本提示、向量库检索方式、微调方式。
下面我们具体提供一些例子，来说明什么是“生成知识提示”
以高尔夫球比赛为例，高尔夫球比赛中分数越低越好，分数低的一方为获胜方。我们看看在一言对此的回答。
这种错误，说明在知识的推理上，模型是存在局限性或者说不确定性的，问题如果有一些误判或者误导，那么其回答也会出现错误的情况，甚至事实性错误。
我们使用以下例子来试试：
输入：希腊比墨西哥大。知识：希腊的面积约为131,957平方公里，而墨西哥的面积约为1,964,375平方公里，使墨西哥比希腊大了1,389%。输入：眼镜总是会起雾。知识：当你的汗水、呼吸和周围的湿度中的水蒸气落在冷的表面上，冷却并变成微小的液滴时，会在眼镜镜片上产生冷凝。你看到的是一层薄膜。你的镜片相对于你的呼吸会比较凉，尤其是当外面的空气很冷时。输入：鱼有思考能力。知识：鱼比它们看起来更聪明。在许多领域，如记忆力，它们的认知能力与或超过非人类灵长类动物等“更高级”的脊椎动物。鱼的长期记忆帮助它们跟踪复杂的社交关系。输入：一个人一生中吸烟很多香烟的常见影响是患肺癌的几率高于正常水平。知识：那些一生中平均每天吸烟不到一支香烟的人，患肺癌的风险是从不吸烟者的9倍。在每天吸烟1到10支香烟之间的人群中，死于肺癌的风险几乎是从不吸烟者的12倍。输入：一块石头和一颗卵石大小相同。知识：卵石是一种根据Udden-Wentworth沉积学尺度的颗粒大小为4到64毫米的岩屑。卵石通常被认为比颗粒（直径2到4毫米）大，比卵石（直径64到256毫米）小。输入：高尔夫球的一部分是试图获得比其他人更高的得分。是或否？知识：
我们能够直观的感受到，这种提示的技术，是利用模型的推理特点，引导其返回固定特征的答案，并且增加其推理能力和稳定性。
我们再提供一个例子，假设我们利用文心来扮演百度智能云的售后技术支持。
此处，我们看到在“你是谁”的场景中，它仍然将自己定位为文心一言。
我们尝试利用生成知识提示的技术调整后如下：
生成知识提示技术本质上是提高模型的推理能力，以及准确度。我们务必认识到一点，模型本身是做预测，所以在预测之前的prompt会直接影响预测结果，我们可以利用这一特点，引导模型产生稳定以及固定的答案。
生成知识提示技术在众多业务场景中得到广泛的应用，这已经说明其稳定性的特点。
另外，该方法的提示词中的示例并非越多越好，不同模型对输入tokens有灾难性遗忘的特点，根据自身需求调整至预期结果即可。（ChatGPT为20个示例以内，文心为10个以内）
评论
