LLM Guide / 学习笔记 · 更新于 2026-09-23

FlashAttention:省下的是哪些读写

追踪分数矩阵的读写,理解分块计算和实际性能边界。

GitHub 初稿 ↗

理解 FlashAttention,可以先追踪普通 Attention 产生了哪些中间张量。一行公式 softmax(Q @ K.T) @ V 很短,展开成多个 GPU 算子后,中间结果却可能占掉很大一块显存。

一个分数矩阵有多大

先忽略 batch。假设 32 个头、序列长 8192,分数矩阵形状就是 [32, 8192, 8192]。若每个元素按 2 字节存储,仅这一份矩阵就需要:

32×81922×2=4 GiB 32\times8192^2\times2=4\ \text{GiB}

Softmax 输出如果另存一份,还会再占空间;训练反向传播也需要考虑保存哪些信息。这里的 8192 指 token 数,不是汉字数。不同 tokenizer 下,同一段文本得到的长度会不一样。

常规拆分实现先把 QK⊤QK^\top 写进显存,Softmax 再读它,归一化结果又被后面的矩阵乘法读取。HBM 是容量较大的显存,片上 SRAM 和寄存器容量小得多,但访问更快。FlashAttention 把计算安排在小块上,减少这些中间矩阵在 HBM 中的存取。

一个 Query 块怎样扫过所有 Key

把 Q 的几行放进片上存储后,依次读取 K、V 的块。每次算出一小块分数,同时更新该 Query 块每一行的最大值 mm、指数和 ll、未归一化输出 uu。读下一块时,旧状态根据新的最大值重新缩放。

逻辑上可以写成这样,具体内核的循环顺序和并行分工可能不同:

for each query block:
    initialize row-wise m, l, u
    for each key/value block:
        scores = Q_block @ K_block.T / sqrt(head_dim)
        apply causal / padding mask
        update m, l, u with the new scores and V_block
    output = u / l

分块 Softmax 不能独立归一化后直接拼起来。前半段和后半段需要共享全局分母;在线更新的推导见 Online Softmax。整个过程中,不必把完整的 T×TT\times T 注意力矩阵留在 HBM 里。

这也解释了一个使用限制:如果应用一定要拿到每一层、每一个头的完整注意力权重用于可视化,就又要为这份矩阵付出存储代价。只需要最终输出时,才有空间绕开它。

精确注意力,为什么仍会有误差

FlashAttention 计算的仍是标准稠密 Attention,没有通过丢弃部分 token 来近似这个算子。“精确”说的是数学目标一致,不能理解成所有浮点位都相同。分块、重排和不同精度的累加会改变舍入误差。

稠密 Attention 的主要计算量仍随序列长度平方增长,量级为 O(T2d)O(T^2d)。减少的是中间存储与数据搬运;实际 FLOP 数也会因实现变化。训练反向阶段会利用保存的归一化信息重算部分中间值,以额外计算换显存,所以“计算量完全不变”也不严谨。

额外注意力存储可以降到随序列长度线性增长,但模型权重、激活和 KV Cache 并没有消失。能否跑更长的上下文,还取决于这些开销、模型训练方式和位置编码配置。

Prefill 和 Decode 要分别看

Prefill 有很多 Query 行,可以把矩阵计算分给较多线程块,通常更容易从分块融合中获益。Decode 每个请求通常只有一个新 Query,历史 KV 却可能很长;如果并行任务太少,GPU 仍然吃不满。

把 KV 的序列维切给多个工作块,再归并各块结果,是解码注意力的一类优化思路。它能改善并行度,但上下文更长仍意味着要处理更多 KV。不能据此推导出生成速度与上下文长度无关。

模型还要执行投影层和 MLP。即使 Attention 本身快了很多,端到端延迟也不一定按同样比例下降。短序列、很小的 batch,甚至内核启动开销,都可能改变收益。

怎么做一个有意义的对比

先固定 GPU、框架版本、dtype、头数、序列长度、batch 和因果 mask。分别比较输出误差、峰值显存与耗时,别把模型加载和第一次编译算进稳定运行的数据。

PyTorch CUDA 计时需要同步,否则测到的可能只是把任务放进队列的时间。可以预热后使用 CUDA Event,或在计时前后调用 torch.cuda.synchronize()。显存则区分 max_memory_allocated() 与分配器保留的空间;nvidia-smi 的总数不能直接当作某个算子的新增占用。

还有一个容易漏掉的细节:scaled_dot_product_attention 会选择可用后端。做基准时要确认实际选中了哪种内核,避免两组代码最后调用了相同实现。本文没有提供某张卡上的实测倍率,具体速度需要在目标环境里测。

参考:FlashAttention 论文、PyTorch SDPA 文档。

← 返回学习笔记