LLM Guide / 学习笔记 · 更新于 2026-09-23

MLA:缓存里到底留下了什么

推导矩阵吸收与解耦 RoPE,按具体维度比较缓存大小。

GitHub 初稿 ↗

看 MLA 时,我更愿意先画出缓存的形状,再去看“低秩压缩”这个名字。推理每多处理一个 token,每一层就要留下后续计算需要的信息。到底留下多少个数,决定了长上下文和并发请求要占多少显存。

从 MHA 到共享 KV

设 Query 有 HqH_q 个头,Key、Value 各有 HkvH_{kv} 个头,每头维度为 dhd_h。常规 KV Cache 每个 token、每层存储的元素数是:

2Hkvdh 2H_{kv}d_h

前面的 2 分别对应 K 和 V。MHA 中 Hkv=HqH_{kv}=H_q;GQA 让多个 Q 头共享一个 KV 头;MQA 只保留一个 KV 头。Query 的头数没有因为共享 KV 而减少。

GQA 的缓存比例是 Hkv/HqH_{kv}/H_q。例如 32 个 Q 头配 8 个 KV 头,就是对应 MHA 的四分之一。这个比例来自模型配置,不能把“八分之一”当成 GQA 的固定属性。模型质量还与训练有关,不能只按头数排一个永远成立的高低顺序。

MLA 存一个低维表示

下面采用行向量写法。对某个 token 的隐藏状态 xtx_t,先计算压缩表示:

ct=xtWDKV,ct∈Rdc c_t=x_tW^{DKV},\qquad c_t\in\mathbb{R}^{d_c}

内容部分的 Key、Value 再从 ctc_t 投影得到。暂时只看一个头:

ktC=ctWUK,vt=ctWUV k_t^C=c_tW^{UK},\qquad v_t=c_tW^{UV}

直观上可以把它展开成完整 K、V 来算。但如果每次 Decode 都恢复整段历史,再保存恢复后的结果,缓存压缩的优势就打折了。矩阵结合律提供了另一条路径:

qiC(ktC)⊤=qiC(WUK)⊤ct⊤=q~ict⊤ q_i^C(k_t^C)^\top =q_i^C(W^{UK})^\top c_t^\top =\widetilde q_i c_t^\top

也就是说,可以先把当前 Query 变换到压缩表示所在的空间,再与历史的 ctc_t 做点积。历史缓存里不必常驻完整的内容 Key。

Value 侧也能调整运算顺序。设某个头对历史位置的权重为 ata_t:

∑tatvt=(∑tatct)WUV \sum_t a_t v_t =\left(\sum_t a_tc_t\right)W^{UV}

每个头先算自己的压缩空间加权和,然后上投影,并可进一步与输出投影组合。不同头的权重不同,不能在还没做各头加权前就把它们合在一起。

这些等式说明 MLA 自身的两种计算路径可以等价变换,并不说明把任意已训练 MHA 换成一个小矩阵就能无损压缩。低维表示及其投影要在相应架构中训练。

RoPE 为什么需要单独处理

RoPE 对固定位置上的向量做线性旋转。“RoPE 是非线性的,所以不能吸收”这个解释不准确。

麻烦在于旋转矩阵依赖位置。把旋转作用到恢复后的 Key 上,Query 与 Key 的相对位置会进入矩阵乘积,通常不能再用一个与历史位置无关的固定矩阵,完成前面那样的统一吸收。

DeepSeek-V2 使用解耦的 RoPE:内容部分按低秩路径处理,位置部分另算。分数由两项组成:

si,t=qiC(ktC)⊤+qiR(ktR)⊤dhC+dhR s_{i,t}=\frac{q_i^C(k_t^C)^\top+q_i^R(k_t^R)^\top} {\sqrt{d_h^C+d_h^R}}

上标 C 表示内容,R 表示带 RoPE 的位置部分。这样,缓存除了 ctc_t,还需要留下对应的旋转 Key 分量。只写“MLA 缓存一个 latent 向量”会漏掉这一项。

算一组具体数字

以下是用于理解量级的配置示例,不是同等质量模型的实测比较。常规注意力取 32 个 Query 头、每头 128 维;MLA 的压缩维度取 512,额外 RoPE Key 维度取 64。

结构 每 token、每层的缓存元素 按 2 字节计
MHA,32 个 KV 头 8192 16 KiB
GQA,8 个 KV 头 2048 4 KiB
MQA,1 个 KV 头 256 0.5 KiB
示例 MLA,512 + 64 576 1.125 KiB

在这组数字里,MLA 比 MHA 和 GQA 小,却比 MQA 大。换一组维度,比例也会变化。所以比较时应写出压缩维度、位置维度、层数和缓存 dtype,而不是记住一个“压缩几十倍”的数字。

如果有 32 层、8192 个缓存 token,示例 MLA 的原始缓存约为 288 MiB。实际分配还会受到分页、对齐、并行切分及运行时缓冲区影响。

缓存小,端到端就一定快吗

缓存少能降低容量与读取压力,但内核实现决定它能否转化成吞吐收益。Prefill 和 Decode 可能采用不同计算路径;矩阵吸收也会改变矩阵尺寸和算术量,不能只凭元素数估算延迟。

验证一个实现时,先用很短的序列比较“显式恢复 K、V”和“在压缩空间计算”的输出,再单独接入 RoPE。一次把缓存、位置编码、分块内核都接上,出错时很难知道是公式问题还是布局问题。

参考:DeepSeek-V2 论文、GQA 论文。需要换算完整模型的显存,可以接着看 LLM 显存账本。

← 返回学习笔记