多模态的坑多数不在模型，而在预处理

把图像、音频接进推理链路之后，很多团队会发现一件反直觉的事：模型换了一版效果没崩，链路却开始频繁报警。问题往往出在模型之外的环节——上传的图片是一张截图套截图、音频采样率不统一、视频抽帧时间戳错位、OCR 结果里混进噪声。这些杂质在纯文本时代几乎不存在，因为文本本身就经过了一层人类的结构化。

多模态带来的不是“多一种输入”，而是多一条完整的生产管线。这条管线里每一步都可能失败，而每一步失败都需要一个明确的处置策略。真正拖慢交付的不是模型精度，而是预处理、对齐、降级这三件事的工程复杂度。本文只谈这条管线的工程代价，不讨论模型选型。

输入侧：预处理是第一道成本关。

文本输入几乎是“零预处理”，多模态则相反。图像需要解码、EXIF 旋转修正、超分或降采样、色域归一，音频需要重采样、声道合并、静音裁剪、响度归一。这一步的计算量常常超过推理本身，尤其是高分辨率图像批量进入时，解码与缩放会直接吃满 CPU。

更隐蔽的是格式的“长尾”。HEIC、AVIF、WEBP、APE、OPUS 各有各的解码器，浏览器支持度参差不齐。一旦遇到不支持的格式，链路必须在入口就拒绝，而不是让脏数据一路流到模型侧。

推理/执行侧：对齐是最容易被低估的一环。

多模态对齐包含三层。第一层是时序对齐：视频抽帧与音频转录的时间戳必须能互相映射，否则模型引用“画面里说了什么”会直接错位。第二层是语义对齐：图像区域与文本 token 的对应关系需要显式维护，尤其在检索增强场景下。第三层是版本对齐：预处理参数一旦调整（比如缩放策略变更），历史缓存的多模态表征就全部失效，必须整体失效重建。

对齐的代价在于它是持续性的。每次预处理逻辑改动，都要评估对下游表征的影响，这不是一次性的集成工作。

输出/评测侧：多模态的评测成本高一个量级。

文本评测可以依赖字符串匹配和 LLM 打分，多模态评测则需要人工标注或专门的判别模型。图像描述是否准确、音频转录是否忠实，很难用自动指标完全覆盖。结果是评测集构建慢、回归测试贵，导致迭代速度下降。