离线高分不等于线上可控，两者常系统性背离

模型评测长期存在一个尴尬事实：离线基准分数刷到新高，上线后却可能被用户骂得更惨。这不是偶发误差，而是评测体系结构性缺陷的必然结果。离线基准本质是在封闭数据集上做静态对比，而线上环境是开放、动态、带反馈的复杂系统。两者之间的鸿沟，来自数据分布、任务定义、评估口径、延迟约束和用户行为的多重错位。

更危险的是，团队容易陷入“基准优化”的自我循环：调参、蒸馏、数据增强，全部指向提升某个公开榜单的分数，却忽略了该榜单与真实业务目标之间的相关性正在衰减。当评测变成一场自娱自乐的考试，模型上线后的每一次翻车，都是对评测体系的一次打脸。

输入侧是背离的起点。离线评测集通常是历史抽样或人工构造，覆盖的是“已知分布”；线上请求则是用户实时产生的，带有长尾、对抗、多轮上下文和隐式意图。当线上出现基准中从未见过的输入模式——比如新出现的缩写、方言、混合语言或恶意构造的提示词——模型的表现无法被离线分数预测。评测集污染同样致命：如果训练数据与评测集存在重叠，分数虚高但泛化能力为零。

推理/执行侧的差异常被低估。离线评测通常单次调用、无状态、无工具依赖；线上则是多步推理、有状态、可能调用外部 API 或数据库。一个在基准上答对率 90% 的模型，在需要多轮工具调用的真实任务中，可能因为一次工具选择错误导致整条链路失败。执行侧的延迟约束也会改变行为：线上为了控制响应时间，可能启用缓存、降级或截断策略，这些都不会体现在离线分数里。

输出/评测侧是自欺的最后一道防线。离线评测常用自动指标（准确率、BLEU、ROUGE、pass@k），这些指标与人类感知和业务价值之间往往只有弱相关。线上回归则需要引入业务指标：任务完成率、用户重试率、人工接管率、投诉率、转化率。更关键的是，线上评测必须处理“无标注”问题——用户不会主动告诉你答案对不对，只能通过行为信号间接推断。