LLM Guide / 学习笔记 · 更新于 2026-09-23

资源导航

学习过程中收集的论文、开源模型、教程与工具。

GitHub 初稿 ↗

这页把笔记用到的论文和文档放在一起,并注明适合带着什么问题去读。论文中的速度、显存与质量结论都依赖实验设置,引用数字时也应保留条件。

注意力与推理

  • Attention Is All You Need:对照多头注意力、缩放点积与位置编码,先把张量形状写出来。
  • Online Normalizer Calculation for Softmax:看最大值改变时,旧的指数和怎样更新。
  • FlashAttention:重点读 IO 模型、分块计算与反向重算,区分算法复杂度和实际速度。
  • GQA:看 Query 头与 KV 头的共享方式,以及论文中的训练和评估条件。
  • DeepSeek-V2:MLA 的内容压缩、解耦 RoPE 和缓存表示。MoE 与 MLA 分别解决不同部分的问题。
  • PyTorch SDPA:查 mask 布尔语义、dropout 参数与后端约束,写代码时比只看公式更直接。
  • vLLM:从一个明确的调度或缓存问题入手读源码,并记录所用版本。

训练与微调

  • BERT:理解掩码语言建模与双向表示,与自回归生成训练做对照。
  • Language Models are Few-Shot Learners:查看上下文学习的任务设置,区分给示例与更新模型参数。
  • LoRA:看冻结权重上的低秩增量如何参数化,注意训练参数量与总显存的区别。
  • QLoRA:量化基础模型与训练适配器怎样配合,哪些额外状态仍然需要存储。
  • PEFT:查适配器配置、保存与加载接口。
  • LLaMA-Factory:查数据注册、模板和训练配置;示例跟随仓库版本变化,使用时保留 commit。

检索与上下文

  • RAG 论文:原始方法的检索器、生成器和任务设置;今天常见的 RAG 工程方案不完全等同于论文实现。
  • Microsoft GraphRAG:从索引、实体关系与查询流程看它适合什么问题,同时评估建图和更新成本。
  • Effective context engineering for AI agents:输入选择、上下文压缩、结构化笔记与任务拆分。
  • LangChain:可以参考组件接口,但应用中使用了框架并不意味着检索质量已被验证。

模型仓库与课程

查模型时优先读对应版本的 model card、许可证和推理示例。参数规模、上下文长度和量化文件格式都应落实到具体版本。

← 返回学习笔记