课程目录

大模型工程

KV Cache

保存历史 Token 的键和值,以显存换取自回归解码速度。

核心要点

  • 缓存随层数、序列、批量和 KV 头增长
  • 减少重复计算但仍需读取历史 KV
  • 长上下文服务必须做容量与淘汰规划