LLM Guide / 学习笔记 · 更新于 2026-09-23

长对话的状态保存:摘要之外还要留什么

区分当前事实与历史记录,设计检查点、并发更新和恢复。

GitHub 初稿 ↗

一段摘要可以读起来很通顺,却不足以让任务继续。比如“用户希望推荐一款合适的耳机”,省略了预算、排除的型号,以及刚刚变更的佩戴方式。恢复对话后,系统很可能再问一遍已经回答过的问题。

这一篇关注状态怎么保存和恢复。哪些内容值得进入模型输入,见 上下文工程。

把当前事实与对话经过分开

当前状态回答“现在以什么为准”,历史记录回答“为什么变成这样”。用户把预算从 2000 改成 1500 时,活动状态只保留新的上限;旧值可以留在事件记录里,以便追溯,但不应该与新值一起平铺给下游工具。

可以从一个很小的结构开始:

{
  "schema_version": 1,
  "revision": 4,
  "goal": "寻找适合通勤的头戴耳机",
  "constraints": {
    "budget_max": {"value": 1500, "source": "user_message_12"},
    "form": {"value": "over_ear", "source": "user_message_10"}
  },
  "excluded_ids": ["demo-product-b"],
  "pending": ["确认候选 A 的当前库存"],
  "completed": ["按预算筛选候选"],
  "next_action": "query_inventory"
}

这些消息 ID 和商品 ID 是示例。实际系统还要在存储层隔离用户与会话,不能靠模型自己填写一个可信的用户 ID。

更新状态时,缺失不等于删除

用户这一轮没有提预算,通常表示继续沿用;明确说“不设预算上限”,才是删除约束。可以把更新写成 set、remove、keep 三种操作,再由代码合并,避免把一个部分 JSON 直接覆盖整个状态。

事实最好带来源。来自用户的明确要求、工具返回的数据、模型推测,可以在结构中分开。预算是用户约束,库存是带查询时间的外部事实,“可能喜欢轻便款”则只是待确认偏好,不应直接变成硬过滤条件。

工具结果还需要有效期。上周查到的库存即使准确保存了,也不适合今天直接下单。恢复时可以依据时间、资源版本或业务规则决定是否重新查询。

检查点怎样写,才不容易留半份

原型阶段可以用文件保存一个会话的检查点。先写临时文件,再原子替换目标文件,能减少进程中断留下截断 JSON 的风险:

import json
import os
import tempfile
from pathlib import Path

def save_checkpoint(path, state):
    path = Path(path)
    path.parent.mkdir(parents=True, exist_ok=True)
    temp_name = None
    try:
        with tempfile.NamedTemporaryFile(
            mode="w", encoding="utf-8", dir=path.parent, delete=False
        ) as f:
            temp_name = f.name
            json.dump(state, f, ensure_ascii=False, allow_nan=False)
            f.flush()
            os.fsync(f.fileno())
        os.replace(temp_name, path)
    finally:
        if temp_name and os.path.exists(temp_name):
            os.unlink(temp_name)

路径应由应用生成,不能直接拼接未经校验的用户输入。这个例子只覆盖单写入者的原子替换;它不解决多个进程同时更新导致的覆盖,也不构成完整的断电持久性保证。

并发服务更适合用带事务或条件更新的存储。写入时检查 revision 是否仍与读取时一致,不一致就重新合并,避免较旧的一轮覆盖较新的用户修改。

恢复后先核对状态,再继续动作

恢复时先校验 schema 版本、必要字段和状态转换是否合法,再把目标、约束、未完成项组织进模型输入。最近少量原始消息可以帮助保留语气和指代,但不必把所有日志都带回来。

对有副作用的工具,检查点还应记录操作 ID 和执行状态。网络超时不能直接解释为执行失败:请求可能已经成功,只是响应丢了。恢复后先查询结果或使用幂等键,避免重复付款、重复发消息、重复创建订单。

只有模型写一句“已完成”也不够。能由工具返回值或业务状态确认的动作,应保存对应证据;模型准备执行、已经发出请求和确认执行成功,是不同状态。

用恢复测试检查摘要是否可靠

可以在几个固定位置中断:用户改口后、工具返回后、写入检查点前、动作发出但响应未收到时。恢复后检查预算是否还是最新值、排除项是否保留、已成功的动作是否重复执行。

还可以把完整历史版本与摘要版本分别用于同一组后续问题,比较约束遵守率和工具选择。摘要短了多少只是成本指标,丢了什么才决定能否继续使用。

参考:上下文压缩与结构化笔记。实现购物流程时,可以与 推荐 Agent 的需求状态 一起看。

← 返回学习笔记