LLM Guide / 学习笔记 · 更新于 2026-09-23
长对话的状态保存:摘要之外还要留什么
区分当前事实与历史记录,设计检查点、并发更新和恢复。
GitHub 初稿 ↗一段摘要可以读起来很通顺,却不足以让任务继续。比如“用户希望推荐一款合适的耳机”,省略了预算、排除的型号,以及刚刚变更的佩戴方式。恢复对话后,系统很可能再问一遍已经回答过的问题。
这一篇关注状态怎么保存和恢复。哪些内容值得进入模型输入,见 上下文工程。
把当前事实与对话经过分开
当前状态回答“现在以什么为准”,历史记录回答“为什么变成这样”。用户把预算从 2000 改成 1500 时,活动状态只保留新的上限;旧值可以留在事件记录里,以便追溯,但不应该与新值一起平铺给下游工具。
可以从一个很小的结构开始:
{
"schema_version": 1,
"revision": 4,
"goal": "寻找适合通勤的头戴耳机",
"constraints": {
"budget_max": {"value": 1500, "source": "user_message_12"},
"form": {"value": "over_ear", "source": "user_message_10"}
},
"excluded_ids": ["demo-product-b"],
"pending": ["确认候选 A 的当前库存"],
"completed": ["按预算筛选候选"],
"next_action": "query_inventory"
}
这些消息 ID 和商品 ID 是示例。实际系统还要在存储层隔离用户与会话,不能靠模型自己填写一个可信的用户 ID。
更新状态时,缺失不等于删除
用户这一轮没有提预算,通常表示继续沿用;明确说“不设预算上限”,才是删除约束。可以把更新写成 set、remove、keep 三种操作,再由代码合并,避免把一个部分 JSON 直接覆盖整个状态。
事实最好带来源。来自用户的明确要求、工具返回的数据、模型推测,可以在结构中分开。预算是用户约束,库存是带查询时间的外部事实,“可能喜欢轻便款”则只是待确认偏好,不应直接变成硬过滤条件。
工具结果还需要有效期。上周查到的库存即使准确保存了,也不适合今天直接下单。恢复时可以依据时间、资源版本或业务规则决定是否重新查询。
检查点怎样写,才不容易留半份
原型阶段可以用文件保存一个会话的检查点。先写临时文件,再原子替换目标文件,能减少进程中断留下截断 JSON 的风险:
import json
import os
import tempfile
from pathlib import Path
def save_checkpoint(path, state):
path = Path(path)
path.parent.mkdir(parents=True, exist_ok=True)
temp_name = None
try:
with tempfile.NamedTemporaryFile(
mode="w", encoding="utf-8", dir=path.parent, delete=False
) as f:
temp_name = f.name
json.dump(state, f, ensure_ascii=False, allow_nan=False)
f.flush()
os.fsync(f.fileno())
os.replace(temp_name, path)
finally:
if temp_name and os.path.exists(temp_name):
os.unlink(temp_name)
路径应由应用生成,不能直接拼接未经校验的用户输入。这个例子只覆盖单写入者的原子替换;它不解决多个进程同时更新导致的覆盖,也不构成完整的断电持久性保证。
并发服务更适合用带事务或条件更新的存储。写入时检查 revision 是否仍与读取时一致,不一致就重新合并,避免较旧的一轮覆盖较新的用户修改。
恢复后先核对状态,再继续动作
恢复时先校验 schema 版本、必要字段和状态转换是否合法,再把目标、约束、未完成项组织进模型输入。最近少量原始消息可以帮助保留语气和指代,但不必把所有日志都带回来。
对有副作用的工具,检查点还应记录操作 ID 和执行状态。网络超时不能直接解释为执行失败:请求可能已经成功,只是响应丢了。恢复后先查询结果或使用幂等键,避免重复付款、重复发消息、重复创建订单。
只有模型写一句“已完成”也不够。能由工具返回值或业务状态确认的动作,应保存对应证据;模型准备执行、已经发出请求和确认执行成功,是不同状态。
用恢复测试检查摘要是否可靠
可以在几个固定位置中断:用户改口后、工具返回后、写入检查点前、动作发出但响应未收到时。恢复后检查预算是否还是最新值、排除项是否保留、已成功的动作是否重复执行。
还可以把完整历史版本与摘要版本分别用于同一组后续问题,比较约束遵守率和工具选择。摘要短了多少只是成本指标,丢了什么才决定能否继续使用。
参考:上下文压缩与结构化笔记。实现购物流程时,可以与 推荐 Agent 的需求状态 一起看。