生成知识提示

这篇适合谁，读完能做到什么

适合需要让模型回答常识类判断题，却发现它第一次作答就出错的读者。读完后，你能把「先生成背景知识，再基于知识作答」的两步流程用在自己的问题上，并知道这种结果为什么可能不稳定。

生成知识提示是什么

大语言模型还在不断改进，其中一个流行的思路是把知识或信息融入提示，帮助模型做出更准确的预测。生成知识提示（generated knowledge prompting）进一步问：模型能否在做预测之前，自己先生成这些知识？Liu 等人在 2022 年的研究尝试的正是这一点，他们把生成的知识作为提示的一部分，并研究这对常识推理这类任务有多大帮助。^[1][2]

先看一个失败的例子

直接提问时，模型对下面这个问题的回答是「是」。这个错误说明，当任务需要更多关于世界的知识时，大语言模型的局限会暴露出来。^[1]

高尔夫球的一部分是试图获得比其他人更高的得分。是或否？

第一步：让模型生成知识

这一步使用少样本（few-shot）提示。每个示例给出一个输入句子，并配一行「知识」。示例涵盖希腊和墨西哥的面积、眼镜起雾、鱼的认知能力、吸烟与肺癌风险、卵石的大小等主题。^[1] 提示词的最后是一个新的输入，知识那一行留空，交给模型补全：^[2]

输入：希腊比墨西哥大。
知识：希腊的面积约为131,957平方公里，而墨西哥的面积约为1,964,375平方公里，使墨西哥比希腊大了1,389%。

输入：眼镜总是会起雾。
知识：当你的汗水、呼吸和周围的湿度中的水蒸气落在冷的表面上，冷却并变成微小的液滴时，会在眼镜镜片上产生冷凝。你看到的是一层薄膜。你的镜片相对于你的呼吸会比较凉，尤其是当外面的空气很冷时。

输入：鱼有思考能力。
知识：鱼比它们看起来更聪明。在许多领域，如记忆力，它们的认知能力与或超过非人类灵长类动物等“更高级”的脊椎动物。鱼的长期记忆帮助它们跟踪复杂的社交关系。

输入：一个人一生中吸烟很多香烟的常见影响是患肺癌的几率高于正常水平。
知识：那些一生中平均每天吸烟不到一支香烟的人，患肺癌的风险是从不吸烟者的9倍。在每天吸烟1到10支香烟之间的人群中，死于肺癌的风险几乎是从不吸烟者的12倍。

输入：一块石头和一颗卵石大小相同。
知识：卵石是一种根据Udden-Wentworth沉积学尺度的颗粒大小为4到64毫米的岩屑。卵石通常被认为比颗粒（直径2到4毫米）大，比卵石（直径64到256毫米）小。

输入：高尔夫球的一部分是试图获得比其他人更高的得分。
知识：

对于这个问题，模型生成的第一条知识是：^[1][2]

高尔夫球的目标是以最少的杆数打完一组洞。一轮高尔夫球比赛通常包括18个洞。每个洞在标准高尔夫球场上一轮只打一次。每个杆计为一分，总杆数用于确定比赛的获胜者。

第二条知识是：^[1][2]

高尔夫球是一项精密的球杆运动，竞争选手（或高尔夫球手）使用许多类型的球杆，用最少的杆数将球打入球场上一系列洞中。目标是以最低的分数完成比赛，该分数是通过将每个洞上所用的杆数相加计算出来的。得分最低的选手赢得比赛。

第二步：把知识放进提示里作答

第二步是把知识整合进提示，并得出预测。具体做法是把问题改写成问答格式：先写问题，再写一行「知识」，最后以「解释和答案：」结尾，引导模型按这一格式作答。^[1] 使用第一条知识时，提示词如下：

问题：高尔夫球的一部分是试图获得比其他人更高的得分。是或否？

知识：高尔夫球的目标是以最少的杆数打完一组洞。一轮高尔夫球比赛通常包括18个洞。每个洞在标准高尔夫球场上一轮只打一次。每个杆计为一分，总杆数用于确定比赛的获胜者。

解释和答案：

模型给出的答案是：^[1]

不是，高尔夫球的目标不是获得比其他人更高的得分。相反，目标是以最少的杆数打完一组洞。总杆数用于确定比赛的获胜者，而不是总得分。

这个回答的置信度非常高。

两条知识，两种结果

换成第二条知识，同样的问题按相同的问答格式提问：^[1][2]

问题：高尔夫球的一部分是试图获得比其他人更高的得分。是或否？

知识：高尔夫球是一项精密的球杆运动，竞争选手（或高尔夫球手）使用许多类型的球杆，用最少的杆数将球打入球场上一系列洞中。目标是以最低的分数完成比赛，该分数是通过将每个洞上所用的杆数相加计算出来的。得分最低的选手赢得比赛。

解释和答案：

这一次，模型的置信度要低得多，回答变成了「是的」：^[1][2]

是的，高尔夫球的一部分是试图获得比其他人更高的得分。每个选手都试图以最少的杆数打完一组洞。总杆数用于确定比赛的获胜者，而不是总得分。得分最低的选手赢得比赛。

同一个问题，两条知识得到了两种结论，而且模型对其中一个非常自信，对另一个则明显不那么确定。这说明生成的知识质量会直接影响最终答案，不能只看模型的语气。^[1][2]

限制与注意事项

结果可能不稳定。 同一个问题换一条知识，结论就可能不同，所以生成的知识需要人工检查后再用于作答。^[1][2]

示例是简化的演示。 页面中的例子为了演示做了简化，得出最终答案时还要考虑更多细节，这些细节在论文中有完整说明。^[1][2]

示例决定知识的形式。 少样本示例每一条都是「输入」加「知识」的结构，模型会模仿这种结构生成知识。^[1]

下一步

想了解完整的方法和更多细节，可以阅读 Liu 等人（2022）的论文。^[2]

本文改编自 DAIR.AI《Prompt Engineering Guide》中的「生成知识提示」页面^[1]，原文以 MIT 许可证发布。