AI Know · 技术研究笔记
1M 上下文，键值缓存每词元 890 字节
四比特键值缓存与跨层注意力复用降显存；552B 主干加 196B 记忆参数，激活 8B/16B；上线 SiliconFlow，长文档多模态可试用
听书暂不可用，请阅读正文。
三分钟读懂
先看结论，再决定是否深读
- 1M 上下文，键值缓存每词元 890 字节
- 四比特键值缓存与跨层注意力复用降显存
- 552B 主干加 196B 记忆参数，激活 8B/16B
- 上线 SiliconFlow，长文档多模态可试用
- 缓存降至初代 1/437，长上下文成本骤降
核心原理
这次发布的核心不是单纯把上下文推到 100 万词元，而是把长上下文的“存储税”打下来。过去长上下文模型常见的问题是：窗口开得大，但键值缓存随词元线性膨胀，推理显存和延迟很快失控。DeepSeek-V4.1-Flash 把全局键值缓存压到每词元 890 字节，配合四比特量化和跨层注意力复用，让 1M 上下文从演示级能力变成可工程化能力。
另一个看点是 MoE 与 Engram 参数的分工。552B 主干提供通用能力，196B Engram 参数更像可检索、可压缩的外部记忆或结构化知识模块。prefill 阶段只激活 8B，decode 阶段激活 16B，说明它试图在“大容量”和“低激活成本”之间找平衡。多模态输入则意味着长上下文不只服务文本，还可能覆盖文档、图像、表格和视频帧序列。
工程实践
- 先做“直塞 vs 检索”对照实验。用 1M 窗口直接放长文档，与 RAG 分块检索对比准确率、首词元延迟和每千词元成本。若直塞成本可接受，再逐步替换部分检索链路；若不可接受，用 1M 做 rerank 或摘要压缩。
- 在 SiliconFlow 上压测四比特键值缓存和跨层复用。重点监控显存、并发数、首词元延迟、解码吞吐和缓存命中率。为长会话设置缓存过期和截断策略，避免 1M 窗口被历史对话占满。
- 多模态输入做预处理和降级。图像先压缩分辨率，文档先 OCR 和版面分析，视频抽关键帧。对超长或低质量输入设置分段、超时和回退模型。输出侧加引用校验和事实核验，降低幻觉进入生产。
风险边界
成本边界：键值缓存降了，但 552B 总参数和 1M 预填充计算仍可能昂贵。API 按词元计费时，长输入成本会线性增长，需要预算上限和熔断。
幻觉边界：长上下文会放大“检索到错误信息”的风险，多模态输入也可能误读图表。关键业务应要求模型给出出处，并用规则或小模型复核。
越权调用边界：多模态输入可能包含合同、身份证、内部图纸等敏感数据。调用第三方 API 前要做脱敏、权限隔离和审计，避免把内部数据传到外部端点。
长尾输入与延迟边界：稀有格式、低质量扫描件、超长视频帧可能导致解析失败或延迟飙升。需要超时、重试、降级和人工兜底。四比特量化对细粒度任务的影响也要持续评估，不能默认无损。