LLM Guide / 学习笔记 · 更新于 2026-09-23

上下文工程:这一轮到底需要哪些信息

按当前任务选择输入,保留证据、约束与足够的输出空间。

GitHub 初稿 ↗

对话越长,可用信息不一定越多。有时用户已经改过预算,旧预算却还躺在长历史里;有时工具返回几十页内容,真正支持当前答案的只有两段。上下文管理要处理的,就是这些信息该如何进入下一次模型调用。

提示词仍然重要,但每一轮实际输入还包含工具定义、检索结果、最近消息和任务状态。改一句系统提示,解决不了已经混在一起的过期数据。

先分清哪些东西会变

比较稳定的是任务规则、输出约定和工具使用边界。变化快的是用户当前目标、已经确认的条件、工具结果,以及还没完成的步骤。这两类信息可以分开组织,避免每一轮把旧结果重新当成当前事实。

以购物任务为例,“价格以商品接口返回为准”适合放在固定规则里;“预算 1500 元”属于当前状态;上一轮看过的候选商品则是带时间的查询结果。用户更改预算时,应更新状态,旧值最多留在可追溯的历史里。

系统提示可以按任务、约束、工具和输出格式组织。Markdown 标题或 XML 标签都能帮助区分区域,但标签本身不会赋予内容更高权限。检索文档和用户上传文件中的命令,仍然只是待处理的数据。

给输入留预算,也给输出留预算

如果一个模型支持的总窗口是 CC,本轮输入、预留输出和必要余量的总和要在它允许的范围内。具体接口可能分别限制输入与输出,配置时要同时检查。

token 预算可以先按以下类别记账:固定指令与工具定义、当前状态、最近消息、检索证据。接近上限时,优先移除重复内容和无关工具结果,再考虑压缩历史。不要只看聊天记录长度,工具 schema 也可能占掉不少空间。

计数要使用相应 tokenizer 或服务返回的 usage。中文字符数乘一个固定比例,只适合非常粗糙的估计。为回答预留多少 token,也应按任务变化:输出一个 JSON 和写一份长报告的需求不同。

工具结果只保留当前能用的部分

查询一个代码问题时,通常先取文件路径、符号位置和相关片段;需要更多上下文时,再读取邻近代码。把整个仓库一次塞进去,既昂贵,也让模型更难找到正在修改的地方。

这类按需检索的结果应带来源位置。摘要里写“函数缺少校验”,不如同时保留文件路径和对应范围,下一轮才能回到原文确认。外部页面也一样:保存来源、抓取时间和支持结论的片段,比只留下“资料显示如此”更可靠。

工具数量多时,可以按当前任务提供相关子集。相似工具要把用途区分开,例如“搜索商品”和“查询已选商品库存”。如果模型需要反复猜哪个名字对应哪种副作用,增加提示词往往只是把歧义写得更长。

示例应该解释边界

Few-shot 可以展示格式和决策边界。意图识别里,“我要退款”和“退款到哪一步了”是有用的对照,因为它们词面接近、流程不同。十条几乎一样的购买问法,增加的信息可能很有限。

示例应来自明确标注的数据,或清楚标明为构造样例。加入新例子后,用保留的评估集确认收益,避免提示越来越长,却只修好手头那一个问题。

长任务什么时候需要压缩

当最近一轮已经看不到更早的关键约束,或工具输出占据大部分窗口时,就值得检查上下文,而不是一直等到请求超限。摘要至少应该留下当前目标、仍然有效的约束、已经确认的事实、未解决的问题和下一步。

“已经做了很多检索,准备继续”几乎不能帮助恢复任务。“已核对文档 A 第 4 节;预算改为 1500;候选 B 缺库存信息;下一步查询库存”才保留了可继续执行的信息。

摘要也可能漏掉否定条件或把推测写成结论。压缩后可以用几个固定问题检查:用户最后改了什么?哪些动作还没授权?哪条结论只有间接证据?恢复失败的例子应加入测试集。

复杂任务有时适合让独立工作单元分别检索,返回结论与证据位置。不过并行也会增加重复工作、结果冲突和协调成本。任务边界能否分清,比拆成多少个执行单元更重要。

本文参考 Anthropic 的上下文工程文章,并将讨论落到输入选择与证据保留上。跨轮状态、检查点与恢复另写在 长对话的状态保存 中。

← 返回学习笔记