LLM Guide / 学习笔记 · 更新于 2026-09-23

RAG:先找到证据,再组织回答

从分块、混合召回到引用核对,按链路定位错误答案。

GitHub 初稿 ↗

一个知识库问答答错了,可能是文档没收录,也可能是相关段落没召回,或者证据已经放进上下文,模型仍然读错。把这些问题都归到“大模型不够聪明”,后续很难知道该改什么。

我会把 RAG 拆成两条链路看:离线整理证据,在线选出本次回答需要的证据。下面以一个虚构的售后知识库为例,不涉及真实商家的政策。

文档切块时,条件不能丢

假设文档写着“未拆封商品签收后 7 日内可申请退货”,下一段才补充“定制商品除外”。只召回前一句,回答就可能漏掉例外。

分块可以先尊重标题、段落和表格结构,再用 token 上限切分过长内容。适量重叠能保留边界信息,但会增加重复命中。固定切 500 字不是通用答案,应拿真实问题检查:一个块能否独立说明规则、条件和例外?

每个块最好保留 document_id、chunk_id、标题路径、原文位置、更新时间和权限字段。更新文档时,要能替换或删除旧块。否则同一条问题可能同时召回两个版本的政策,模型只能在冲突文本里猜。

用户访问权限也应进入检索过滤条件。等生成完答案再隐藏引用,已经无法阻止未授权内容进入模型上下文。

召回先求覆盖,排序再看匹配

用户问“这个还能退吗”,向量检索有机会关联“退货期限”;用户问具体型号或错误码时,BM25 等词项检索常能提供有效补充。两路结果的分数尺度不同,直接相加之前需要校准,或者先按排名融合。

RRF 对同一段文档在不同列表里的名次求和:

RRF⁡(d)=∑r1k+rank⁡r(d) \operatorname{RRF}(d)=\sum_r\frac{1}{k+\operatorname{rank}_r(d)}

下面的 k=60 是示例平滑参数,名次从 1 开始。它不代表余弦相似度阈值。

def rrf(rankings, k=60):
    scores = {}
    for ranking in rankings:
        seen = set()
        for rank, doc_id in enumerate(ranking, 1):
            if doc_id in seen:
                continue
            seen.add(doc_id)
            scores[doc_id] = scores.get(doc_id, 0.0) + 1 / (k + rank)
    return sorted(scores, key=lambda doc_id: (-scores[doc_id], doc_id))

assert rrf([["a", "b", "c"], ["b", "d", "a"]])[0] == "b"

融合后再对有限候选做 rerank,可以让模型更细致地比较 query 与段落是否相关。候选规模、精排开销和最终上下文数量应一起调,不能只增加 top-k。几十段相近文本挤在一起,既花 token,也容易把真正有用的证据淹没。

多轮查询改写要带上指代对象

上一轮在讨论 A 型号,下一轮问“那保修多久”,检索 query 需要带上 A 型号和保修意图。直接拿最后一句做向量检索,容易命中任何带“保修”的文档。

查询改写应该保留用户的型号、数值、时间和否定条件。多查询、HyDE 都可以用于扩大召回,但生成出来的“假设答案”不能当成事实引用。新增一条改写路径之前,先看现有 bad case 是否确实卡在召回阶段。

给生成器什么,答案才能核对

证据可以带稳定 ID 交给生成器,例如 [policy-17#p4]。回答中的引用应映射回实际提供的块,而不是让模型自由拼一个看起来像链接的地址。后处理可以检查引用 ID 是否存在,涉及的数字是否能在证据中找到。

对“还能不能退”的回答,如果缺少签收日期或是否拆封,应追问缺失条件。检索没有找到适用规则时,也要明确知识库里没有足够依据。引用格式正确,只能证明引用存在,不能证明结论一定被引用支持;两者需要分别检查。

检索文本是数据来源,里面可能含有“忽略前面的规则”之类无关指令。应把证据与系统指令分开,并由应用层控制权限和工具调用,不能因为一段文字来自知识库就允许它改变任务。

怎么判断这次改动有没有用

先准备一批带证据标注的问题,覆盖同义问法、精确型号、多轮指代、条件缺失,以及知识库没有答案的情况。开发时看过的样本与最终评估样本分开,否则容易把改进变成记住题目。

检索侧记录 Recall@k:已标注的相关块中,有多少进入前 k 个结果。如果有多个相关块,分母应是相关块总数;只统计“是否至少命中一块”时,应明确那是命中率。生成侧再看关键条件是否完整、陈述是否有证据,以及应该拒答时有没有编造。

同时保留检索、精排、生成的耗时和总 token。回答正确率提高,却让常见问题慢了几倍,也需要判断这笔成本是否值得。

GraphRAG 适合进一步研究实体关系、多跳问题和文档集合的全局总结,但建图、抽取和更新都会增加成本。图结构不能保证更快,也不能自动消除幻觉。普通售后条款若靠文档检索已能回答,可以先把版本、分块和评估做好。

资料:RAG 论文、Microsoft GraphRAG 文档。多轮状态如何影响检索,另见 意图识别。

← 返回学习笔记