LLM Guide / 学习笔记 · 更新于 2026-09-23
MLA:缓存里到底留下了什么
推导矩阵吸收与解耦 RoPE,按具体维度比较缓存大小。
GitHub 初稿 ↗看 MLA 时,我更愿意先画出缓存的形状,再去看“低秩压缩”这个名字。推理每多处理一个 token,每一层就要留下后续计算需要的信息。到底留下多少个数,决定了长上下文和并发请求要占多少显存。
从 MHA 到共享 KV
设 Query 有
前面的 2 分别对应 K 和 V。MHA 中
GQA 的缓存比例是
MLA 存一个低维表示
下面采用行向量写法。对某个 token 的隐藏状态
内容部分的 Key、Value 再从
直观上可以把它展开成完整 K、V 来算。但如果每次 Decode 都恢复整段历史,再保存恢复后的结果,缓存压缩的优势就打折了。矩阵结合律提供了另一条路径:
也就是说,可以先把当前 Query 变换到压缩表示所在的空间,再与历史的
Value 侧也能调整运算顺序。设某个头对历史位置的权重为
每个头先算自己的压缩空间加权和,然后上投影,并可进一步与输出投影组合。不同头的权重不同,不能在还没做各头加权前就把它们合在一起。
这些等式说明 MLA 自身的两种计算路径可以等价变换,并不说明把任意已训练 MHA 换成一个小矩阵就能无损压缩。低维表示及其投影要在相应架构中训练。
RoPE 为什么需要单独处理
RoPE 对固定位置上的向量做线性旋转。“RoPE 是非线性的,所以不能吸收”这个解释不准确。
麻烦在于旋转矩阵依赖位置。把旋转作用到恢复后的 Key 上,Query 与 Key 的相对位置会进入矩阵乘积,通常不能再用一个与历史位置无关的固定矩阵,完成前面那样的统一吸收。
DeepSeek-V2 使用解耦的 RoPE:内容部分按低秩路径处理,位置部分另算。分数由两项组成:
上标 C 表示内容,R 表示带 RoPE 的位置部分。这样,缓存除了
算一组具体数字
以下是用于理解量级的配置示例,不是同等质量模型的实测比较。常规注意力取 32 个 Query 头、每头 128 维;MLA 的压缩维度取 512,额外 RoPE Key 维度取 64。
| 结构 | 每 token、每层的缓存元素 | 按 2 字节计 |
|---|---|---|
| MHA,32 个 KV 头 | 8192 | 16 KiB |
| GQA,8 个 KV 头 | 2048 | 4 KiB |
| MQA,1 个 KV 头 | 256 | 0.5 KiB |
| 示例 MLA,512 + 64 | 576 | 1.125 KiB |
在这组数字里,MLA 比 MHA 和 GQA 小,却比 MQA 大。换一组维度,比例也会变化。所以比较时应写出压缩维度、位置维度、层数和缓存 dtype,而不是记住一个“压缩几十倍”的数字。
如果有 32 层、8192 个缓存 token,示例 MLA 的原始缓存约为 288 MiB。实际分配还会受到分页、对齐、并行切分及运行时缓冲区影响。
缓存小,端到端就一定快吗
缓存少能降低容量与读取压力,但内核实现决定它能否转化成吞吐收益。Prefill 和 Decode 可能采用不同计算路径;矩阵吸收也会改变矩阵尺寸和算术量,不能只凭元素数估算延迟。
验证一个实现时,先用很短的序列比较“显式恢复 K、V”和“在压缩空间计算”的输出,再单独接入 RoPE。一次把缓存、位置编码、分块内核都接上,出错时很难知道是公式问题还是布局问题。
参考:DeepSeek-V2 论文、GQA 论文。需要换算完整模型的显存,可以接着看 LLM 显存账本。