技术博文：推测式解码如何让大语言模型快到飞起~地址：leoniemonigatti.com/blog/speculative-decoding.html

基于 Transformer 的大语言模型以自回归方式生成文本。这意味着文本是逐 token 生成的，而每生成一个 token，都需要模型完成一次完整的前向传播。这种串行依赖使推理延迟与输出长度成正比，因而生成速度较慢。对于实时对话或多轮智能体工作流等对延迟敏感的应用，这已经成为生产环境中的实际瓶颈，而推测式解码正是试图解决这一问题。

推测式解码是一种在保持输出质量不变的同时降低解码延迟的推理优化技术。Chen 等人（2023，DeepMind）与 Leviathan 等人（2023，Google）大约在同一时期分别独立提出了相似的方法。