推理加速：KV缓存与投机解码是怎么回事

引言

大模型回答问题是一个字一个字往外蹦的，每蹦一个字都要把前面的内容重新算一遍。问题越长，算得越慢。推理加速做的事，就是让这个过程少做重复功：KV 缓存和投机解码是其中最常用的两招，理解它们，就理解了大模型为什么能越跑越快。

为什么推理这么慢

大模型生成文字的方式是自回归：先根据问题算出第一个字，再把这个字接回问题后面算第二个字，如此反复。每一步都要重新处理之前所有的字，算一遍注意力、过一遍网络。字数一多，重复计算的量就大得惊人。而且每一步之间必须等上一步完成，没法并行，延迟就这样一点点攒了起来。推理慢，慢就慢在这个“一步一算、步步重复”的结构上。

KV 缓存：算过的别再算

KV 缓存的思路很简单：算过的东西存起来，下次直接用。模型处理每个字的时候，会算出一组中间结果，存下来之后，下一步只需要算新字的部分，不用把整句话重算一遍。这相当于给模型配了个笔记本，写过的推导不用重写。代价是显存：文本越长，缓存占的显存越大，长上下文之所以贵，KV 缓存占显存是重要原因之一。省时间还是省显存，是推理系统每天都要做的权衡。

投机解码：先猜后验

投机解码的思路更巧妙：让一个小模型先快速猜出接下来几个字，再让大模型一次性验证这些猜测。猜对了，就等于一次算出好几个字；猜错了，退回猜错的地方重算。因为小模型跑得快、大模型验证可以并行，整体速度能提升不少。这招的精髓在于“猜”的质量：小模型猜得越准，加速效果越好；猜得不准，反而白白多算。所以投机解码在小模型和大模型“口味”接近的时候效果最好。

加速的代价与边界

推理加速不是免费的午餐。KV 缓存用显存换时间，显存不够的时候反而会拖慢速度；投机解码用小模型的计算换大模型的时间，猜错的比例一高，收益就被吃掉。还有不少别的加速办法：把多个请求拼在一起批量算、把不常用的部分换成低精度、把模型拆到多张卡上并行。每种办法都有自己的适用场景和代价，推理系统真正的工作，是把这些办法组合起来，在延迟、成本和显存之间找到最适合当前业务的平衡点。

加速的意义不止是快

推理加速的意义，不只是让回答来得更快。首先是成本：算得越快，同样一台机器能服务的用户就越多，单次调用的成本就越低。其次是体验：延迟从几秒降到一秒以内，对话才真正像对话。最后是可能性的边界：很多实时场景，比如语音对话、游戏 NPC、车载助手，对延迟的要求是毫秒级的，没有推理加速，这些场景根本做不起来。模型能力的上限由训练决定，模型能走多远，很大程度上由推理加速决定。