AI Know · 技术研究笔记
长上下文不等于长提示词，成本核心在 KV 缓存。
分页管理决定显存利用率与并发上限；召回策略比窗口长度更能影响答案质量；缓存复用率是长上下文吞吐的关键杠杆。
三分钟读懂
先看结论，再决定是否深读
- 长上下文不等于长提示词，成本核心在 KV 缓存。
- 分页管理决定显存利用率与并发上限。
- 召回策略比窗口长度更能影响答案质量。
- 缓存复用率是长上下文吞吐的关键杠杆。
- 越权召回与长尾输入是主要风险源。
核心原理
2026 年，主流模型上下文窗口普遍进入百万 token 量级，但真正让团队头疼的不是"能不能塞进去"，而是"塞进去之后账单和延迟长什么样"。一个反直觉的现象是：把窗口从 32K 扩到 256K，模型能力的提升远小于推理成本的上涨。原因在于，注意力机制对上下文的计算虽然是平方级，但实际生产中最贵的那部分开销，是每生成一个 token 都要反复读取的 KV 缓存。
KV 缓存本质上是把历史 token 的 Key/Value 张量驻留在显存里，避免每步重新计算。窗口越长，缓存占用越大；并发越多，缓存副本越多；多轮对话还要求缓存跨轮复用。当这三点叠加时，显存就成了比算力更稀缺的资源。这就是为什么长上下文系统的成本结构，实际上是一个缓存管理与调度的系统工程问题，而不是单纯买更多卡的问题。
技术细节
从输入侧看，长上下文的第一道成本发生在编码阶段。Prompt 越长，预填充阶段的注意力计算量越大，首 token 延迟呈明显上升。但输入侧真正决定长期成本的是"可复用性"：如果每次请求都携带完全相同的系统提示、工具文档、检索片段，那么这些前缀的 KV 缓存理论上可以只算一次并长期驻留。反之，如果每次请求的前缀都略有不同，缓存全部失效，预填充成本会被反复支付。因此输入侧的优化重点是前缀稳定化：把不变内容前置并固定顺序，把变化内容后置。
推理与执行侧是成本的主战场。朴素实现为每个序列分配连续显存块，长上下文下碎片化严重，浪费可达数成。分页缓存把 KV 缓存切成固定大小的页，按需分配、离散存放，配合页表完成寻址，从而把碎片压到接近零，并把并发上限从"连续内存够不够"变成"总页数够不够"。在此之上，还有几层关键机制：前缀共享让相同前缀的多个请求指向同一份物理页，实现写时复制；逐出策略结合 LRU 与注意力权重，优先保留被频繁命中的页；量化存储用 FP8 甚至更低位宽保存 KV，直接压缩占用。这些机制共同决定了一个服务在固定显存下能撑多少并发、多长窗口、多低延迟。
输出与评测侧的成本容易被忽视。长上下文并不只是"输入长"，输出也可能很长，而解码阶段每一步都要读取全部 KV 缓存，因此长缓存加长输出是最贵的组合。评测上，不能再只看"大海捞针"式的单点召回，而要看多跳推理、跨段引用、顺序敏感性等指标。更关键的是要建立成本归一化评测：在相同正确率下比较不同缓存策略的显存占用、TTFT、每 token 成本，否则很容易陷入"指标好看但账单爆炸"的陷阱。
工程实践
第一，把提示词结构工程化。固定系统提示、工具定义、检索片段模板的顺序与内容，让前缀尽可能命中缓存；对变化的用户输入做后置插入，避免污染稳定前缀。上线前实测缓存命中率，把它当核心指标监控。
第二，采用分页缓存并显式设定资源预算。按业务峰值设定最大页数、每请求页配额与逐出策略，避免单个超长会话挤占全部显存。对多轮对话启用前缀共享与写时复制，让同一会话的历史只存一份。
第三，把召回做成独立可观测模块。检索层要记录命中片段、来源、权限标签与命中率，做到"召回可解释、权限可审计"。用分层召回替代暴力塞满窗口：先粗筛再精排，只把真正需要的片段送进上下文。
风险边界
成本风险最直接：分页与共享能缓解显存压力，但缓存命中率下降时成本会迅速反弹，必须设预算护栏与降级策略。幻觉风险在长上下文中被放大，模型可能引用被截断或过期的片段，尤其在多跳推理时更容易把不相关内容"缝合"成答案，需要引用溯源与置信度标注。越权调用是长上下文特有的隐患：当召回层把不同用户、不同权限的文档混入同一上下文，模型可能跨权限泄露信息，必须在检索阶段做权限过滤而非依赖模型自律。长尾输入方面，超长日志、代码仓库、扫描件等非结构化内容会显著拉高预填充时间与页占用，需要采样、摘要或分块预处理。延迟上，TTFT 随缓存长度线性恶化，流式输出也难掩首字延迟，面向交互场景应设置上下文长度上限与超时回退。
长上下文的竞争，最终不是比谁窗口更大，而是比谁能在相同成本下，把正确的信息以正确的顺序送进模型。缓存管理决定了成本底线，召回策略决定了质量上限，两者合起来才是长上下文推理真正的成本结构。