LLM Guide / 学习笔记 · 更新于 2026-09-23

Online Softmax:分块以后,分母怎么算

从两块数据的换基准推到 Attention 加权和,附数值校验。

GitHub 初稿 ↗

Softmax 按块算时,有个绕不开的问题:第一块算完以后,后面可能还会出现更大的数。已经累加的指数和怎么办?Online Softmax 给这份中间结果加了一个基准,基准变了,就把已有结果一起换算过去。

从稳定的 Softmax 开始

对一行 xx,先取最大值 mm:

pi=exi−m∑jexj−m p_i=\frac{e^{x_i-m}}{\sum_j e^{x_j-m}}

所有指数的自变量都不大于 0,避免了大正数导致的上溢。减去同一个常数不改变归一化结果。直接计算 exp(100) 在 float32 中会溢出,在 float64 中仍能表示,所以讨论溢出时也要带上数据类型。

如果把每一步写成独立的内存遍历,找最大值、求分母、输出概率会反复读取输入。实际 GPU 内核可以融合部分步骤,访问次数要看实现;这里先研究怎样在不保留整行的情况下更新归一化因子。

两块如何合并

给已读部分保留两个数:最大值 mAm_A,以及以它为基准的指数和 lAl_A。新块也算出 mB,lBm_B,l_B。合并以后:

m=max⁡(mA,mB)l=emA−mlA+emB−mlB \begin{aligned} m&=\max(m_A,m_B)\\ l&=e^{m_A-m}l_A+e^{m_B-m}l_B \end{aligned}

换算系数来自这一步:

ex−m=ex−mAemA−m e^{x-m}=e^{x-m_A}e^{m_A-m}

旧结果已经包含每一项 ex−mAe^{x-m_A},统一乘一个 emA−me^{m_A-m} 就能换基准,不需要重新遍历旧块。如果两个块都有效,合并操作在实数运算下与分块方式无关;浮点计算可能因累加顺序产生小误差。

用 [1, 3] 和 [5, 2] 算一遍:第一块 mA=3,lA≈1.135335m_A=3,l_A\approx1.135335,第二块 mB=5,lB≈1.049787m_B=5,l_B\approx1.049787。合并后 m=5m=5,分母约为 1.2034381.203438。其中第一块的贡献从 1.1353351.135335 缩成约 0.1536510.153651,刚好等于 e−4+e−2e^{-4}+e^{-2}。

一段能直接运行的核对代码

import math

# 输入约定:有限实数;被 mask 的 -inf 和 NaN 需要调用方单独处理。
def online_softmax(xs, block_size=2):
    if block_size <= 0:
        raise ValueError("block_size must be positive")
    if not xs:
        return []
    if not all(math.isfinite(x) for x in xs):
        raise ValueError("all inputs must be finite")
    m, total = -math.inf, 0.0
    for start in range(0, len(xs), block_size):
        block = xs[start:start + block_size]
        block_max = max(block)
        new_max = max(m, block_max)
        total = total * math.exp(m - new_max)
        total += sum(math.exp(x - new_max) for x in block)
        m = new_max
    return [math.exp(x - m) / total for x in xs]

xs = [1.0, 3.0, 5.0, 2.0]
p = online_softmax(xs)
reference = [math.exp(x - max(xs)) for x in xs]
reference = [v / sum(reference) for v in reference]
assert all(abs(a - b) < 1e-12 for a, b in zip(p, reference))
print([round(v, 6) for v in p])
# [0.015219, 0.112457, 0.830953, 0.041371]

代码最后仍然要再读一次输入,才能输出所有概率。Online Softmax 可以在线维护分母,但在不知道后续数据时,无法一次读入就给出前面元素的最终概率。这一点决定了它和 FlashAttention 结合时,为什么要继续维护一个加权和。

Attention 可以连分子一起累加

对于一个 Query,记打分为 sjs_j,Value 为向量 vjv_j。除最大值和指数和以外,再维护未归一化的向量:

u=∑jesj−mvj u=\sum_j e^{s_j-m}v_j

这里用 uu 表示分子,避免把它和已经归一化的 Attention 输出 OO 混用。若新块的分子为 uBu_B,就和分母使用同样的换算:

u=emA−muA+emB−muBO=u/l \begin{aligned} u&=e^{m_A-m}u_A+e^{m_B-m}u_B\\ O&=u/l \end{aligned}

这样,处理完全部 Key、Value 后,只需保留一个长度为 Value 维度的 uu,加上两个标量。没有必要保存所有注意力概率。多个 Query 行可以各自维护这一组状态,正好用于 FlashAttention 的分块计算。

若某一块全被 mask,不能直接让 -inf - -inf 进入指数函数;该块应贡献零。整行都被屏蔽时,分母为零,要明确返回零还是报错,不能把这个边界交给除法碰运气。训练中若加 dropout,还要保证重算时使用一致的随机掩码。

原始资料:Online Normalizer Calculation for Softmax。这段 Python 代码只核对数学关系,Python 循环的耗时不能拿来判断 GPU 内核快不快。

← 返回学习笔记