Step-Back Prompt Engineering是由Google DeepMind研究提出的，是一种提示方法，使LLMs能够执行抽象操作，从而可以得出准确的答案。

该技术包含两步：1)抽象——提示模型“后退（step-back）”一步，推导出与问题相关的高层概念/原理，2)推理——用高层概念来指导推理过程以得到解决方案。

简单来说，就是让大语言模型自己把问题抽象化，得到一个更高维度的概念或者原理，再把抽象出来的知识当作上下文，推理并得出问题的答案。

这样，不仅对原始查询进行了检索，还将这两种上下文都输入到大语言模型中，以生成最终的答案。

Google团队在使用Step-Back Prompting的PaLM-2L模型上做实验显示，在许多困难的推理任务上得到了显著提升，包括MMLU物理/化学上7%和11%的提升，TimeQA 27%的提升，MuSiQue 7%的提升。

抽象这一步很高效，只需要几个示范就够了。分析显示，推理仍是瓶颈，而抽象技能对语言模型来说相对较容易获取。

该技术的灵感来自人类通过抽象简化问题以进行推理的方式，减少了中间推理步骤中的错误。

可以将检索增强（RAG）技术与 "Step-Back Prompting" 结合起来使用。我们利用退一步问题来查找相关的事实信息，这些信息将作为额外的上下文，帮助模型进行最后的推理和判断。通过 Step-Back + RAG 的处理，我们将任务抽象为高层次概念进行处理，这样的检索增强方法更为可靠。