AI Know · 技术研究笔记
长上下文成本由缓存驻留与召回质量共同决定
分页管理把连续显存压力转为可调度块；召回命中率低会放大无效输入与重复计算；按会话分级缓存比统一扩窗更省钱
三分钟读懂
先看结论，再决定是否深读
- 长上下文成本由缓存驻留与召回质量共同决定
- 分页管理把连续显存压力转为可调度块
- 召回命中率低会放大无效输入与重复计算
- 按会话分级缓存比统一扩窗更省钱
- 延迟与成本需联合评测，不能只看窗口长度
核心原理
上下文窗口从数十万词元走向百万级，表面看是容量竞赛，实质是成本结构变化。输入变长后，注意力计算确实增长，但重复请求场景中，键值缓存的复用效率、驻留时长与回收策略，往往比窗口长度更能决定账单。与此同时，检索召回决定真正进入上下文的有效信息比例：召回不准，长窗口就会变成昂贵噪声容器。
因此，长上下文推理应被视为“缓存、检索、调度”三者联动的系统。成本可拆为预填充计算、解码计算、缓存驻留、召回与重排、无效输入五部分。窗口拉长不必然带来线性成本，若前缀稳定、缓存命中高、召回精确，边际成本可控；反之，缓存碎片化、召回冗余、重复预填充会让成本迅速放大。
工程实践
- 建立“前缀稳定加分页缓存”的请求模板：固定系统提示、工具说明和公共文档块，动态内容后置；按会话设置缓存保留时长，热点会话延长、冷会话快速回收；公共前缀用引用计数共享，变更时写时复制隔离。
- 召回侧坚持“少而准”：先粗排再重排，限制送入上下文的条数，按置信度阈值和去重规则裁剪；长尾输入启用查询改写与多路召回，但把重排成本计入预算，并记录召回命中与答案引用形成反馈闭环。
- 做成本与延迟联合压测：按输入长度分桶，统计首词元延迟、每千词元成本、缓存命中率和分页利用率；设置预算护栏，超阈值自动降级到摘要上下文或更小窗口，再通过灰度发布对比效果。
风险边界
成本风险在于缓存驻留并非免费：长会话占用显存会压低批大小，分页块过小增加寻址开销，过大则碎片增多，召回与重排还会叠加费用。幻觉风险在于长上下文包含冲突或无关信息时，模型可能引用错误段落，召回不准会放大这一问题。越权调用风险在于共享前缀若隔离不当，可能跨租户泄露；分页回收必须彻底清除，检索索引必须做权限过滤。长尾输入与延迟风险在于超长表格、代码、多语言和多跳问题会带来预填充尖峰，拉高尾延迟。工程上需要租户隔离、权限过滤、缓存清理审计、超时降级和预算告警共同兜底。
来源：技术专栏