LLM Guide / 学习笔记 · 更新于 2026-09-23
LLM 显存占用:先把账分开算
分开计算权重、KV、激活与优化器状态,附缓存计算器。
GitHub 初稿 ↗“7B 模型需要多少显存”没有一个脱离配置的固定答案。同一个模型,单人短对话和多请求长上下文的占用会差很多。估算时先分别计算权重、KV Cache、激活和运行时开销,最后再合并。
权重是最容易算的一项
设参数量为
GB 与 GiB 的换算已经能带来一段差距。BF16、FP16 通常都是 2 字节,FP32 是 4 字节。INT4 的裸权重按每参数半字节估算,但量化比例、零点、分组元数据,以及没有量化的层也要占空间,不能把 3.5 GB 当成整个进程的显存需求。
MoE 模型也要区分总参数和每 token 激活参数。一次只激活少数专家,不意味着单卡部署时只需加载这些专家的权重;如果做专家卸载,还要另外考虑数据传输。
KV Cache 按 KV 头数计算
对常规 MHA/GQA,每条序列的每个 token、每层需要缓存一组 Key 和 Value:
假设 32 层、8 个 KV 头、每头 128 维,KV 用 BF16:
每 token:2 × 32 × 8 × 128 × 2 = 131072 bytes = 128 KiB
单条 8192 token:128 KiB × 8192 = 1 GiB
4 条同样长的请求:4 GiB
如果换成 32 个 KV 头的 MHA,其余不变,缓存就是四倍。用隐藏维度直接代替 KV 头数 × 每头维度,通常只适合对应的 MHA 配置,会高估 GQA。
下面的计算器只依赖 Python 标准库:
def kv_gib(lengths, layers, kv_heads, head_dim, bytes_per_element=2):
# lengths 包含各请求当前已经缓存的 token 数。
elements = 2 * sum(lengths) * layers * kv_heads * head_dim
return elements * bytes_per_element / 2**30
assert kv_gib([8192], 32, 8, 128) == 1.0
assert kv_gib([8192] * 4, 32, 8, 128) == 4.0
print(kv_gib([1024, 4096, 8192], 32, 8, 128))
# 1.625
这里没有考虑分页对齐、共享前缀和缓存预分配。有些引擎启动时就预留大块 KV 空间,监控中看到的占用不代表里面都存着有效 token。MLA 的缓存结构不同,需要用压缩表示和 RoPE 分量的维度来算,见 MLA 笔记。
权重加缓存,还不是进程总量
上面的 7B BF16 权重约 13 GiB,加上四条 8192 token 的示例 GQA 缓存,已经约 17 GiB。还没计入当前层的激活、矩阵运算工作区、CUDA context、CUDA Graph 使用的内存、采样缓冲区和分配器碎片。
Prefill 可能出现比 Decode 更高的瞬时激活峰值。把 batch 调大之前,要同时测最长输入下的 Prefill 和稳定 Decode,不能只在空闲状态读取一次显存。
对于稠密注意力,显式分数矩阵的大小随序列长度平方增长;FlashAttention 可以避免保存完整矩阵,但其他激活仍然存在。不同 MLP 结构、算子融合和激活重算会改变训练峰值,所以一个固定系数的激活公式很难适用于所有模型。
训练时,优化器状态往往更贵
一套常见的 FP16 混合精度 Adam 布局可以按下面估算,但要先确认训练框架确实采用这套存储方式:
| 项目 | 每参数字节数 |
|---|---|
| FP16 模型权重 | 2 |
| FP16 梯度 | 2 |
| FP32 主权重 | 4 |
| FP32 一阶、二阶矩 | 8 |
| 合计,不含激活 | 16 |
如果梯度以 FP32 保留,合计变成 18 字节。另一些 BF16 训练实现不保留独立主权重,优化器状态精度也可能不同。不能把 FP16 和 FP32 梯度都机械地重复加一遍,再把某个总数称为通用公式。
按 16 字节估算,70 亿参数仅这些状态就约 104.3 GiB。ZeRO/FSDP 可以把部分状态分片到不同设备上,但通信和临时聚合也有成本。
LoRA 冻结基础模型,只训练少量适配器参数,因此梯度和优化器状态主要跟适配器规模走。基础权重仍需加载,反向传播仍需要相应激活。QLoRA 进一步量化冻结的基础权重,也不能把全部训练占用等同于 4-bit 权重大小。
真正 OOM 时先改哪个参数
先判断是在加载权重、前向、反向,还是优化器更新阶段失败。加载就失败,优先检查权重 dtype、设备放置和量化;长输入 Prefill 才失败,检查长度和 token batch;反向峰值过高,再考虑减小 micro-batch、激活检查点或缩短序列。
梯度累积可以用多次小 batch 组成更大的有效 batch,却不会让某一次前向的长序列激活自动变小。调参数时保留失败配置和峰值记录,比只写“显存不够”更便于复现。