AI Know · 技术研究笔记
预处理成本常高于推理本身
音画时间对齐是稳定性瓶颈；降级策略要在架构期预埋；长尾输入决定尾延迟上限
三分钟读懂
先看结论，再决定是否深读
- 预处理成本常高于推理本身
- 音画时间对齐是稳定性瓶颈
- 降级策略要在架构期预埋
- 长尾输入决定尾延迟上限
核心原理
多模态大模型接入图像、音频、视频后，团队常把注意力放在模型选型和推理加速上，却忽略输入侧工程。图像解码、音频重采样、视频抽帧、时序对齐、格式兼容，每一步都可能引入错误放大。更关键的是，当某一路输入失败时，系统能否降级到文本或仅图像，而不是整体超时。本文讨论多模态输入的工程代价，以及可落地的对齐与降级路径。
实际生产里，模型精度提升一个点很难，但预处理失败率降低一个点就能显著改善用户体验。多模态系统的可用性，往往不取决于最强的那一路输入，而取决于最弱的那一路能否被安全降级。
工程实践
- 建立输入契约与预检。为每类输入定义最小可用格式、尺寸、时长、编码。入口先做快速校验，失败直接走降级，不进入重型预处理。把校验规则写成配置，随长尾样本迭代。
- 预处理与推理解耦。用队列和超时预算隔离。预处理异步执行，设置单路超时；推理侧只接收标准化张量。降级决策由编排层统一管理，避免每个模型各自为政。
- 可观测性与回放。记录每路输入的预处理耗时、失败原因、对齐偏移、降级路径。按周分析长尾分布，更新格式白名单和降级阈值。对高频失败格式，提供转换工具或拒绝策略。
风险边界
成本：预处理可能占用大量计算和存储。高分辨率图像、长音频、高帧率视频的转码与缓存成本，可能超过模型推理。需要预算上限和采样策略，例如按场景限制最大分辨率与时长，冷数据不缓存。
幻觉：预处理错误会放大幻觉。图像旋转未纠正，模型可能描述错误方向；音频切分错误，模型可能拼接无关语义。降级到文本时，也可能因缺失视觉信息产生臆测。应在提示词中声明降级状态，让模型知道哪些模态不可用。
越权调用：多模态输入可能包含敏感信息。预处理服务若直接访问外部存储或网络，可能被利用做越权读取。降级路径不能绕过权限校验。输入中的链接、文件路径、元数据都要做安全清洗。
长尾输入：损坏文件、超长音频、极端宽高比、多语言混音。这些输入在测试集占比低，却贡献大部分线上故障。需要专门的长尾队列和人工兜底，避免一条坏输入拖垮整个批次。
延迟：预处理串行会显著增加尾延迟。图像解码和音频重采样在冷启动时尤其慢。应对策略是并行化、缓存标准化结果、设置严格超时，并让降级路径快速返回。尾延迟指标要按输入类型分别统计，不能只看平均值。
多模态的工程代价不在模型参数，而在输入管道的确定性。把预处理、对齐、降级当作一等公民，才能让多模态系统稳定可用。