LLM Guide / 学习笔记 · 更新于 2026-09-23

Prefill 与 Decode:两段延迟分开看

沿一次请求拆解 KV Cache、首 token 延迟与后续生成间隔。

GitHub 初稿 ↗

使用聊天模型时,可以遇到两种不同的慢:等很久才出现第一个 token,或者已经开始输出,却一直断断续续。这两种现象对应的工作不完全相同,排查时最好分开记录。

一次请求按什么顺序执行

以普通自回归生成、没有前缀缓存命中为例。输入有 512 个 token,Prefill 会在因果 mask 下处理这 512 个位置,为各层写入 KV Cache。最后一个输入位置的 logits 用来采样第一个输出 token。

随后把这个已采样的 token 送进模型,计算它自己的 Q、K、V,读取历史 KV,再得到下一个 token 的分布。这个过程重复进行。token 不等于一个汉字,也不一定等于一个英文单词。

“并行处理输入”并不意味着取消因果约束。Prefill 中,前面的位置仍不能看到后面的输入;只是所有输入 token 已知,可以把很多位置的运算放在一次矩阵计算里完成。Decode 则需要等待上一轮的采样结果。推测解码等方案可以一次验证多个候选,这里先不把它混进基本流程。

矩阵形状为什么影响性能

设隐藏维度为 4096,忽略 batch,一个线性层在 Prefill 中可能处理:

[512, 4096] @ [4096, 4096]

同一份权重为多个输入位置服务,数据搬入后可以做较多计算。单请求 Decode 则更接近:

[1, 4096] @ [4096, 4096]

新输入只有一行,权重仍然很大,单位数据读取对应的计算量下降。这是小 batch Decode 经常受显存带宽限制的原因。

但多请求一起解码时,输入可以形成 [B, 4096]。batch 增大后,权重得到更多复用;很长的上下文又会增加 Attention 的 KV 读取与计算。因此“Prefill 永远算力受限、Decode 永远带宽受限”只能作为粗略印象,不能直接替代 profiling。

KV Cache 没有缓存整层输出

常见缓存保留各层历史 token 的 K、V,用于后续注意力读取。新 token 仍然要经过自己的注意力、输出投影和 MLP。KV Cache 避免的是重算历史 K、V,并没有省掉当前 token 的整次前向传播。

对普通全注意力模型,每增加一个 token,各层缓存都会增长;下一轮注意力涉及的历史范围也随之增大。滑动窗口、前缀共享、KV 量化等实现会改变具体存储和访问方式,需要单独说明。

缓存量的通用估算是:

MKV=2BLTHkvdhb M_{KV}=2BLTH_{kv}d_hb

这里 BB 是请求数,LL 是层数,TT 是每条请求的缓存长度,HkvH_{kv} 是 KV 头数,dhd_h 是单头维度,bb 是每元素字节数。请求长度不同时,应对各请求的有效长度求和,不能一律把它们都当作最大长度。

两段时间分别怎么记

从客户端发出请求到收到第一个输出 token 的时间通常记作 TTFT。它包含网络、排队、输入处理和 Prefill 等开销,不能把整个 TTFT 都算在 GPU 上。

若收到 N>1N>1 个输出 token,从第一个到最后一个的时间为 tt,可以用 t/(N−1)t/(N-1) 估算平均 TPOT。流式接口可能将多个 token 合并成一个网络事件;仅用浏览器收到的分块时间,未必能还原真实 token 间隔。

假设一次响应输出 101 个 token,TTFT 为 0.8 秒,第一个到最后一个又用了 2 秒,那么平均 TPOT 是 20 毫秒。这是算例,不是某个模型的测试成绩。服务总吞吐还要统计所有并发请求产生的 token,不能把单条响应的 tokens/s 当成整台机器的能力。

优化时先看谁在等待

首 token 慢,先区分排队时间和实际 Prefill 时间。长输入可能占用较长连续计算时段,chunked prefill 可以把它拆成较小块,与正在 Decode 的请求穿插调度;块太小又可能增加调度开销。

输出间隔长,可以检查 batch、权重和 KV 的 dtype、Attention 内核,以及显存是否因容量不足而发生换入换出。连续批处理会让新请求加入、已完成请求退出,提高利用率,但更大的并发也可能拉高单请求延迟。

把 Prefill 和 Decode 分到不同设备上,有机会分别调度,却需要传输 KV;是否划算,要把传输量和网络条件算进去。对于小规模服务,一开始就拆两套集群通常没有必要。

我会先保留四项记录:输入/输出长度分布、并发数、TTFT 分位数、TPOT 分位数。数据变慢时,再看是排队、计算还是数据搬运在增长。只看一个平均 tokens/s,很难定位问题。

参考:vLLM 文档、FlashAttention、显存占用估算。

← 返回学习笔记