AI Know · 技术研究笔记
批处理提吞吐，长请求拖垮尾延迟。
投机解码低并发省时，高并发反噬；排队策略定 SLA，堆卡不解决；输入长度方差是尾延迟放大器。
三分钟读懂
先看结论，再决定是否深读
- 批处理提吞吐，长请求拖垮尾延迟。
- 投机解码低并发省时，高并发反噬。
- 排队策略定 SLA，堆卡不解决。
- 输入长度方差是尾延迟放大器。
- 分层调度加动态开关，才是工程解。
核心原理
单卡推理中，吞吐与延迟天然对立。吞吐看每秒 token 或请求数，延迟看 TTFT、TPOT 与 P99 尾延迟。批处理把多请求拼批，提升 GPU 利用率，却让请求在迭代间等待，长请求阻塞短请求。投机解码用小模型起草、大模型验证，减少大模型前向，降低单请求延迟，但引入算力与显存开销，高并发下可能拖累吞吐。排队是第三只手：请求如何入队、调度、超时降级，直接决定尾延迟形状。三者耦合，共享显存带宽、KV cache 与 SM 占用。配置不是独立旋钮，而是系统权衡。
工程实践
- 按流量分层：交互式走小批、开投机、高优先级；离线批处理走大批、关投机、低优先级。网关打标，调度器分队列，配额隔离。
- 动态批处理与投机开关：监控 P99 TTFT 与吞吐，设阈值。队列深度超 N 或批大小超 B 时，自动关投机保吞吐；反之开投机降延迟。
- 输入长度治理：长度分桶、超长截断或摘要、前缀缓存复用。长尾输入单独队列，设超时与降级。监控输入长度 P99，避免 KV 碎片引发 OOM。
风险边界
成本：投机解码增加草稿算力与显存，大 batch 增加显存，可能需更多卡，单位成本上升。幻觉：草稿模型可能引入错误 token，验证虽能纠正，但接受率异常或验证绕过会降质。越权调用：优先级与配额可能被滥用，需鉴权、审计、限流，防高优队列被占满。长尾输入或延迟：超长输入导致 OOM 或尾延迟飙升；排队饥饿让长请求永不完成；P99 恶化触发 SLA 违约。需超时、降级、混沌工程与压测。没有万能配置，只有按流量分层的组合拳，并持续监控、动态调整。