LLM Guide / 学习笔记 · 更新于 2026-09-23
Online Softmax:分块以后,分母怎么算
从两块数据的换基准推到 Attention 加权和,附数值校验。
GitHub 初稿 ↗Softmax 按块算时,有个绕不开的问题:第一块算完以后,后面可能还会出现更大的数。已经累加的指数和怎么办?Online Softmax 给这份中间结果加了一个基准,基准变了,就把已有结果一起换算过去。
从稳定的 Softmax 开始
对一行
所有指数的自变量都不大于 0,避免了大正数导致的上溢。减去同一个常数不改变归一化结果。直接计算 exp(100) 在 float32 中会溢出,在 float64 中仍能表示,所以讨论溢出时也要带上数据类型。
如果把每一步写成独立的内存遍历,找最大值、求分母、输出概率会反复读取输入。实际 GPU 内核可以融合部分步骤,访问次数要看实现;这里先研究怎样在不保留整行的情况下更新归一化因子。
两块如何合并
给已读部分保留两个数:最大值
换算系数来自这一步:
旧结果已经包含每一项
用 [1, 3] 和 [5, 2] 算一遍:第一块
一段能直接运行的核对代码
import math
# 输入约定:有限实数;被 mask 的 -inf 和 NaN 需要调用方单独处理。
def online_softmax(xs, block_size=2):
if block_size <= 0:
raise ValueError("block_size must be positive")
if not xs:
return []
if not all(math.isfinite(x) for x in xs):
raise ValueError("all inputs must be finite")
m, total = -math.inf, 0.0
for start in range(0, len(xs), block_size):
block = xs[start:start + block_size]
block_max = max(block)
new_max = max(m, block_max)
total = total * math.exp(m - new_max)
total += sum(math.exp(x - new_max) for x in block)
m = new_max
return [math.exp(x - m) / total for x in xs]
xs = [1.0, 3.0, 5.0, 2.0]
p = online_softmax(xs)
reference = [math.exp(x - max(xs)) for x in xs]
reference = [v / sum(reference) for v in reference]
assert all(abs(a - b) < 1e-12 for a, b in zip(p, reference))
print([round(v, 6) for v in p])
# [0.015219, 0.112457, 0.830953, 0.041371]
代码最后仍然要再读一次输入,才能输出所有概率。Online Softmax 可以在线维护分母,但在不知道后续数据时,无法一次读入就给出前面元素的最终概率。这一点决定了它和 FlashAttention 结合时,为什么要继续维护一个加权和。
Attention 可以连分子一起累加
对于一个 Query,记打分为
这里用
这样,处理完全部 Key、Value 后,只需保留一个长度为 Value 维度的
若某一块全被 mask,不能直接让 -inf - -inf 进入指数函数;该块应贡献零。整行都被屏蔽时,分母为零,要明确返回零还是报错,不能把这个边界交给除法碰运气。训练中若加 dropout,还要保证重算时使用一致的随机掩码。
原始资料:Online Normalizer Calculation for Softmax。这段 Python 代码只核对数学关系,Python 循环的耗时不能拿来判断 GPU 内核快不快。