AI Know · 技术研究笔记
切分粒度错位会让证据被截断或稀释
召回排序不稳，正确答案常排在噪声后；引用不可核对，等于没有证据链；评测只看答案不看证据，会掩盖失效
三分钟读懂
先看结论，再决定是否深读
- 切分粒度错位会让证据被截断或稀释
- 召回排序不稳，正确答案常排在噪声后
- 引用不可核对，等于没有证据链
- 评测只看答案不看证据，会掩盖失效
核心原理
检索增强生成出错，大多数时候不在生成模型本身，而在知识链路：文档切分粒度是否合理，召回排序是否稳定，引用是否可回到原文核对。很多团队把问题归因于“模型幻觉”，于是换更大模型、加更长上下文，结果线上问题依旧。原因是证据根本没有进入上下文，或者进入了却被噪声淹没，或者答案看似正确却无法追溯依据。
检索增强生成不是“向量库加提示词”这么简单，而是一条证据生产链。输入侧决定证据以什么形态存在，执行侧决定哪些证据被送进模型，输出侧决定答案能否被核对。三者任一环节失守，都会表现为“模型答错”。因此，分析失效模式要沿链路拆解，而不是只盯生成结果。
工程实践
- 建立分块规范：按标题层级与语义边界切分，保留父子块和元数据，表格单独处理，重叠窗口控制在百分之十到十五，上线前抽样核对证据完整性。
- 召回采用混合检索加重排：向量与关键词并行，重排后按证据覆盖度分配上下文，设置最低相关阈值，低分时拒答或追问，避免把噪声硬塞给模型。
- 引用核对做成流水线：生成时绑定证据编号，输出前逐条校验引用片段是否支持陈述，失败则重写或降级，并把引用支持率纳入发布门禁。
风险边界
成本上，混合检索、重排和引用核对会增加计算与存储开销，应按场景分层，高频问题缓存，低频问题异步处理。幻觉上，证据不足时模型仍会补全，必须允许拒答并展示证据缺口。越权调用上，权限过滤要放在召回之前，否则敏感片段可能进入上下文；输出引用也要脱敏。长尾输入上，扫描件、表格、口语指代和否定句容易失效，需要专门评测与人工兜底。延迟上，多阶段检索会拉高响应时间，可用分级策略和异步重排平衡体验。归根结底，检索增强生成的质量是证据链质量，不是模型参数大小。