AI Know · 技术研究笔记
端侧预算同时约束精度、显存与尾延迟。
量化省显存，代价常落在长尾与键值缓存；蒸馏压参数，教师偏差与容量差距会迁移；调度决定体验，算子回退与热降频最伤尾延迟。
三分钟读懂
先看结论，再决定是否深读
- 端侧预算同时约束精度、显存与尾延迟。
- 量化省显存，代价常落在长尾与键值缓存。
- 蒸馏压参数，教师偏差与容量差距会迁移。
- 调度决定体验，算子回退与热降频最伤尾延迟。
核心原理
小模型本地推理不是把大模型简单缩小后塞进设备，而是把精度、显存、功耗和延迟放进同一张预算表做联合求解。量化用更低比特表示权重、激活和键值缓存，直接降低内存带宽与占用；蒸馏用教师模型的逻辑值、特征或生成数据训练学生模型，用更小容量逼近任务表现；端侧调度则决定这些模型在异构芯片、有限内存和热约束下能否稳定跑出可用体验。三者都能“省”，但省下来的空间往往以长尾精度、训练成本或尾延迟抖动为代价。真正的问题不是单点最优，而是端侧预算下的可验证折中：哪些层必须保留高精度，哪些任务可以特化，哪些输入必须降级或回退。
工程实践
- 先建预算表和切片集：明确设备内存上限、首字延迟与尾延迟目标，用真实长尾输入做校准和评测；量化前后逐层对比，敏感层保留高精度，不接受只拿平均分验收。
- 量化与蒸馏分开验收：量化优先权重量化和键值缓存量化，校准集覆盖长短输入与工具调用；蒸馏采用教师软标签加真实数据混合，先任务头后全参，保留教师回退通道，避免学生模型独扛高风险请求。
- 调度做白名单与降级：静态图编译前确认算子支持，建立回退中央处理器策略；按热状态、电量和内存压力动态降批、降上下文或降精度，持续监控九十九分位延迟与内存峰值。
风险边界
成本边界：量化省下显存，但校准、机型适配、算子回退和碎片化测试都是隐性成本；蒸馏需要教师调用与训练算力，端侧多机型适配还会放大维护成本。幻觉边界：小模型容量有限，蒸馏可能继承教师幻觉，量化会放大长尾错误，本地知识过期后更难发现。越权调用边界：本地工具调用必须走权限沙箱、最小权限和用户确认，防止提示注入诱导模型读写文件或发起网络请求。长尾输入与延迟边界：超长上下文、异常格式、热降频和动态批处理都会造成尾延迟抖动，必须设置超时、降级和可解释的失败提示。端侧部署的成熟标志，不是跑分最高，而是预算内可复现、可回退、可审计。