AI Know · 技术研究笔记
端侧预算表：精度、显存、延迟三者互斥。
量化省显存，但长尾输入易放大误差；蒸馏传知识，学生容量不足会丢长尾；调度决定尾延迟，静态策略往往失效。
三分钟读懂
先看结论，再决定是否深读
- 端侧预算表：精度、显存、延迟三者互斥。
- 量化省显存，但长尾输入易放大误差。
- 蒸馏传知识，学生容量不足会丢长尾。
- 调度决定尾延迟，静态策略往往失效。
- 评测须覆盖幻觉、越权与极端输入。
核心原理
端侧部署不再是“把大模型搬进手机”的简单命题。手机、车机、可穿戴设备与工业网关的算力、内存带宽和功耗上限，迫使开发者在小模型本地推理中做三选一：保精度、省显存、降延迟。量化与蒸馏是两条最常用的压缩路径，但它们的代价并不对称。量化主要改变数值表示，代价集中在数值敏感层与长尾输入；蒸馏主要改变知识分布，代价集中在容量瓶颈与教师偏见。端侧调度则把二者拉回同一张预算表：同一个模型，在不同热状态、不同负载、不同任务下，可能需要不同的精度档位与执行路径。于是问题从“选哪个压缩算法”变成“如何在动态预算下持续满足服务等级目标”。
工程实践
第一，建立端侧精度与延迟回归测试。固定硬件型号、系统版本、热状态与输入分布，每次量化或蒸馏后跑同一套长尾用例，记录准确率、幻觉率、第九十九百分位延迟与峰值内存。第二，采用混合量化与缓存分级。对嵌入层、输出层与首尾注意力层保留较高精度，对中间层与键值缓存使用低比特，并设置动态回退：当检测到激活溢出或延迟超阈时，自动切回高精度路径。第三，把蒸馏做成数据飞轮。用教师模型在真实端侧流量上生成难例与软标签，定期校准学生模型；同时保留一个轻量规则引擎，处理权限校验与高风险调用，避免学生模型独自决策。
风险边界
成本方面，量化与蒸馏的调参、校准与回归测试会消耗大量工程时间，低比特硬件的实际加速比也可能低于预期。幻觉方面，量化误差会破坏事实记忆，蒸馏会让学生模型在长尾问题上过度自信，二者叠加时幻觉率可能不降反升。越权调用方面，本地模型若直接访问文件、传感器或应用程序接口，必须放入权限沙箱，按最小权限原则逐次授权，并记录可审计的调用链。长尾输入方面，罕见词、方言、噪声与超长上下文会同时冲击量化校准与蒸馏容量，需要专门的长尾测试集与在线回退策略。延迟方面，端侧资源竞争与热降频会导致尾延迟抖动，调度器应设置延迟预算与降级预案，在高负载时主动压缩上下文或降低分辨率，而不是让请求无限排队。