LLM Guide / 学习笔记 · 更新于 2026-09-23
学习路线
从基础入门、注意力机制、训练微调,到推理优化与应用系统。
GitHub 初稿 ↗这里按笔记之间的依赖关系安排阅读顺序。已有工程经验的话,可以从正在遇到的问题切入,不必把所有内容按顺序读完。
从一层注意力开始
先看 多头注意力实现,把 Q、K、V 的形状和因果 mask 对上。能解释为什么最后一维做 Softmax、为什么需要输出投影之后,再进入 Online Softmax 的分块归一化。
接着读 FlashAttention,追踪中间矩阵在哪里生成、在哪里读写。这个顺序可以把“数学上算什么”和“硬件上怎么安排”分开理解。线性代数、反向传播和完整 Transformer 结构还没有独立文章,遇到不熟悉的部分可以先查 资源导航 中的课程。
一个小练习:改变序列长度,估算完整注意力分数矩阵的大小。再想一想,如果只需要最终输出,哪些中间结果可以不长期保存。
部署慢或显存不够时
先读 Prefill 与 Decode,区分首 token 等待与后续输出间隔。然后用 显存占用笔记 的公式,算出当前配置的权重和 KV Cache。
MLA 放在这两篇后面读:先弄清缓存为什么占空间,再看压缩表示、矩阵吸收与 RoPE 分量。PagedAttention、量化内核和分布式调度暂时没有单独展开,不把知道名字当作已经掌握。
想跑一次微调
Linux 下的 LoRA 小闭环 从环境检查、数据模板走到十步训练配置和适配器复载。先用小模型确认链路,再决定是否投入长时间训练。
完成的判断应包含:能解释哪些参数在训练,检查过标签掩码,有独立评估问题,知道输出的适配器如何加载。只看到 loss 在下降还不够。
做一个能查资料的应用
RAG 先讲文档、召回与回答证据。再读 意图识别,看同一句话在不同历史下为什么会进入不同流程。
商品推荐 Agent 把这些步骤接成一个有限工作流,重点在约束过滤、商品数据和失败出口。导购工作流分析 则提醒:从产品回复观察到的行为,与真实内部架构要分开。
对话变长以后
上下文工程 讨论这一轮该给模型看什么;长对话的状态保存 讨论跨轮怎样保留当前约束、检查点和动作结果。
可以用“用户改了预算后中断会话”做一次恢复测试:恢复后的搜索是否使用新预算,是否保留排除项,是否重复执行已完成的动作。这个小测试比把摘要读一遍更容易发现状态丢失。