LLM Guide

学过的,写下来。

注意力机制、推理优化与应用实践。十三篇笔记,包含推导、代码与工程取舍。

共 13 条

注意力机制

多头注意力:把形状和掩码写对

用张量形状、完整代码和边界用例检查 MHA 与 GQA。

注意力机制

FlashAttention:省下的是哪些读写

追踪分数矩阵的读写,理解分块计算和实际性能边界。

注意力机制

MLA:缓存里到底留下了什么

推导矩阵吸收与解耦 RoPE,按具体维度比较缓存大小。

注意力机制

Online Softmax:分块以后,分母怎么算

从两块数据的换基准推到 Attention 加权和,附数值校验。

推理优化

Prefill 与 Decode:两段延迟分开看

沿一次请求拆解 KV Cache、首 token 延迟与后续生成间隔。

推理优化

LLM 显存占用:先把账分开算

分开计算权重、KV、激活与优化器状态,附缓存计算器。

RAG 与 Agent

RAG:先找到证据,再组织回答

从分块、混合召回到引用核对,按链路定位错误答案。

RAG 与 Agent

意图识别:从一句话到多轮状态

保留四版方案图,补上多轮槽位更新、话题切换与评估。

RAG 与 Agent

商品推荐 Agent:从需求到候选清单

用虚构商品拆解需求状态、硬过滤、推荐解释和失败出口。

上下文工程

上下文工程:这一轮到底需要哪些信息

按当前任务选择输入,保留证据、约束与足够的输出空间。

上下文工程

长对话的状态保存:摘要之外还要留什么

区分当前事实与历史记录,设计检查点、并发更新和恢复。

工程实践

Linux 下做 LoRA 微调:先跑通一个小闭环

从环境与数据模板走到十步 LoRA 配置,再验证适配器复载。

工程实践

从一段导购回复拆解工作流

从对话行为推演导购流程,区分产品观察和内部架构事实。