LLM Guide / 学习笔记 · 更新于 2026-09-23

学习路线

从基础入门、注意力机制、训练微调,到推理优化与应用系统。

GitHub 初稿 ↗

这里按笔记之间的依赖关系安排阅读顺序。已有工程经验的话,可以从正在遇到的问题切入,不必把所有内容按顺序读完。

从一层注意力开始

先看 多头注意力实现,把 Q、K、V 的形状和因果 mask 对上。能解释为什么最后一维做 Softmax、为什么需要输出投影之后,再进入 Online Softmax 的分块归一化。

接着读 FlashAttention,追踪中间矩阵在哪里生成、在哪里读写。这个顺序可以把“数学上算什么”和“硬件上怎么安排”分开理解。线性代数、反向传播和完整 Transformer 结构还没有独立文章,遇到不熟悉的部分可以先查 资源导航 中的课程。

一个小练习:改变序列长度,估算完整注意力分数矩阵的大小。再想一想,如果只需要最终输出,哪些中间结果可以不长期保存。

部署慢或显存不够时

先读 Prefill 与 Decode,区分首 token 等待与后续输出间隔。然后用 显存占用笔记 的公式,算出当前配置的权重和 KV Cache。

MLA 放在这两篇后面读:先弄清缓存为什么占空间,再看压缩表示、矩阵吸收与 RoPE 分量。PagedAttention、量化内核和分布式调度暂时没有单独展开,不把知道名字当作已经掌握。

想跑一次微调

Linux 下的 LoRA 小闭环 从环境检查、数据模板走到十步训练配置和适配器复载。先用小模型确认链路,再决定是否投入长时间训练。

完成的判断应包含:能解释哪些参数在训练,检查过标签掩码,有独立评估问题,知道输出的适配器如何加载。只看到 loss 在下降还不够。

做一个能查资料的应用

RAG 先讲文档、召回与回答证据。再读 意图识别,看同一句话在不同历史下为什么会进入不同流程。

商品推荐 Agent 把这些步骤接成一个有限工作流,重点在约束过滤、商品数据和失败出口。导购工作流分析 则提醒:从产品回复观察到的行为,与真实内部架构要分开。

对话变长以后

上下文工程 讨论这一轮该给模型看什么;长对话的状态保存 讨论跨轮怎样保留当前约束、检查点和动作结果。

可以用“用户改了预算后中断会话”做一次恢复测试:恢复后的搜索是否使用新预算,是否保留排除项,是否重复执行已完成的动作。这个小测试比把摘要读一遍更容易发现状态丢失。

← 返回学习笔记