LLM Guide / 学习笔记 · 更新于 2026-09-23
资源导航
学习过程中收集的论文、开源模型、教程与工具。
GitHub 初稿 ↗这页把笔记用到的论文和文档放在一起,并注明适合带着什么问题去读。论文中的速度、显存与质量结论都依赖实验设置,引用数字时也应保留条件。
注意力与推理
- Attention Is All You Need:对照多头注意力、缩放点积与位置编码,先把张量形状写出来。
- Online Normalizer Calculation for Softmax:看最大值改变时,旧的指数和怎样更新。
- FlashAttention:重点读 IO 模型、分块计算与反向重算,区分算法复杂度和实际速度。
- GQA:看 Query 头与 KV 头的共享方式,以及论文中的训练和评估条件。
- DeepSeek-V2:MLA 的内容压缩、解耦 RoPE 和缓存表示。MoE 与 MLA 分别解决不同部分的问题。
- PyTorch SDPA:查 mask 布尔语义、dropout 参数与后端约束,写代码时比只看公式更直接。
- vLLM:从一个明确的调度或缓存问题入手读源码,并记录所用版本。
训练与微调
- BERT:理解掩码语言建模与双向表示,与自回归生成训练做对照。
- Language Models are Few-Shot Learners:查看上下文学习的任务设置,区分给示例与更新模型参数。
- LoRA:看冻结权重上的低秩增量如何参数化,注意训练参数量与总显存的区别。
- QLoRA:量化基础模型与训练适配器怎样配合,哪些额外状态仍然需要存储。
- PEFT:查适配器配置、保存与加载接口。
- LLaMA-Factory:查数据注册、模板和训练配置;示例跟随仓库版本变化,使用时保留 commit。
检索与上下文
- RAG 论文:原始方法的检索器、生成器和任务设置;今天常见的 RAG 工程方案不完全等同于论文实现。
- Microsoft GraphRAG:从索引、实体关系与查询流程看它适合什么问题,同时评估建图和更新成本。
- Effective context engineering for AI agents:输入选择、上下文压缩、结构化笔记与任务拆分。
- LangChain:可以参考组件接口,但应用中使用了框架并不意味着检索质量已被验证。
模型仓库与课程
查模型时优先读对应版本的 model card、许可证和推理示例。参数规模、上下文长度和量化文件格式都应落实到具体版本。
- Meta Llama 3、Qwen、DeepSeek、ChatGLM-6B:保留为不同模型系列的入口,其中部分仓库对应较早版本。
- Neural Networks: Zero to Hero:适合逐段写代码、核对反向传播与语言模型实现。
- Hugging Face 课程:从 tokenizer、模型使用和数据处理开始查。
- Stanford CS324:课程覆盖模型训练、系统和社会影响等主题,页面对应 2022 年课程。
- LLM Visualization:用可视化观察一个 GPT 风格模型的数据流,再回到公式核对维度。
- Ollama、LMDeploy:本地运行与部署工具,具体模型和设备支持以各自文档为准。