多模态的坑大多不在模型，在预处理

纯文本链路里，输入基本是干净的：一段字符串，长度可控，编码统一。加入图像和音频之后，情况立刻变了。一张图可能是 4K 截图，也可能是糊到看不出边界的翻拍；一段音频可能是清晰录音，也可能是带背景音乐的直播切片。模型本身对这些输入的容忍度，远超大多数团队的预期，但预处理、对齐和失败降级这三件事，容忍度极低。

很多团队在 demo 阶段用几张精心挑选的图跑通，就认为多模态能力已经就绪。上线后才发现，真正拖垮成功率的是输入规格的离散度。本文只谈一个工程问题：当图像与音频进入推理链路，哪些环节最容易出事，以及怎么把出事的代价压住。

输入侧：图像和音频的第一道关是规格归一化。图像要处理分辨率、长宽比、色彩空间、EXIF 旋转、透明通道。音频要处理采样率、声道数、编码格式、静音段裁剪。这些看似琐碎，但任何一项没对齐，模型拿到的就是畸变输入。更麻烦的是令牌化：图像会按 patch 切分成视觉 token，音频会按帧切分成声学 token，token 数量直接决定推理成本和上下文占用。一张大图可能吃掉几千个 token，而一段十分钟音频的 token 量足以挤爆上下文窗口。

推理与执行侧：多模态对齐是第二个雷区。文本、图像、音频三种模态进入同一个注意力空间时，时间戳和空间位置必须显式绑定。视频理解中最常见的问题是音画不同步，模型把画面里的动作和上一句话对应起来。工程上要靠预处理阶段写入的时间元数据来解决，而不是指望模型自己学会对齐。另一个隐性问题是模态缺失：当只上送图像、不上送音频时，模型的行为可能和训练时不一致，输出质量会明显下降。

输出与评测侧：多模态评测比文本评测难得多。文本可以用 BLEU、ROUGE、人工打分，图像和音频的生成或理解结果缺乏统一指标。更现实的做法是分层评测：先用规则校验输出结构，再用小模型做一致性判断，最后人工抽检长尾样本。评测集必须覆盖模糊图、低信噪比音频、跨模态矛盾输入这三类硬样本，否则线上问题永远测不出来。