共 13 条
注意力机制注意力机制注意力机制注意力机制推理优化推理优化RAG 与 AgentRAG 与 AgentRAG 与 Agent上下文工程上下文工程工程实践工程实践
多头注意力:把形状和掩码写对
用张量形状、完整代码和边界用例检查 MHA 与 GQA。
FlashAttention:省下的是哪些读写
追踪分数矩阵的读写,理解分块计算和实际性能边界。
MLA:缓存里到底留下了什么
推导矩阵吸收与解耦 RoPE,按具体维度比较缓存大小。
Online Softmax:分块以后,分母怎么算
从两块数据的换基准推到 Attention 加权和,附数值校验。
Prefill 与 Decode:两段延迟分开看
沿一次请求拆解 KV Cache、首 token 延迟与后续生成间隔。
LLM 显存占用:先把账分开算
分开计算权重、KV、激活与优化器状态,附缓存计算器。
RAG:先找到证据,再组织回答
从分块、混合召回到引用核对,按链路定位错误答案。
意图识别:从一句话到多轮状态
保留四版方案图,补上多轮槽位更新、话题切换与评估。
商品推荐 Agent:从需求到候选清单
用虚构商品拆解需求状态、硬过滤、推荐解释和失败出口。
上下文工程:这一轮到底需要哪些信息
按当前任务选择输入,保留证据、约束与足够的输出空间。
长对话的状态保存:摘要之外还要留什么
区分当前事实与历史记录,设计检查点、并发更新和恢复。
Linux 下做 LoRA 微调:先跑通一个小闭环
从环境与数据模板走到十步 LoRA 配置,再验证适配器复载。
从一段导购回复拆解工作流
从对话行为推演导购流程,区分产品观察和内部架构事实。
没有找到匹配的笔记,试试其他关键词或选择「全部」。