离线高分不等于线上好用，评测必须两端覆盖。

模型评测最容易犯的错误，是把离线基准当成最终结论。榜单分数涨了，团队就认为模型变好了；线上效果没涨，又归因于“用户不会用”。这种自欺在 2026 年依然普遍，因为离线基准和线上真实表现之间隔着三层鸿沟：输入分布不同、任务完成标准不同、失败成本不同。离线基准测的是“模型在固定题目上的得分”，线上回归测的是“系统在真实流量下是否持续满足业务约束”。两者不是替代关系，而是互补关系。一个健康的评测体系，必须同时回答两个问题：模型能力边界在哪里，以及线上行为是否可控。

输入侧的关键是分布对齐。离线基准通常来自公开数据集或人工构造题，干净、完整、意图明确；线上输入则夹杂错别字、多模态混排、超长上下文、工具调用参数缺失。如果评测集只覆盖“标准问法”，分数再高也无法预测线上表现。工程上要建立输入分层：核心高频意图、长尾意图、对抗输入、工具链输入，分别采样并标注权重。离线评测的加权分数应尽量贴近线上流量结构，否则就是自娱自乐。

推理/执行侧的关键是行为可观测。很多评测只看最终答案，不看中间过程。但线上故障常发生在执行侧：检索为空、工具超时、重试风暴、上下文截断、多轮状态丢失。评测体系要记录每一步的输入输出、耗时、失败码和重试次数，把“答案对不对”扩展为“路径稳不稳”。对于 Agent 类系统，还要评估工具选择是否正确、参数是否合法、是否发生越权调用。离线阶段可以用回放和注入故障的方式，把执行侧异常提前暴露。

输出/评测侧的关键是标准可解释。离线基准常用准确率、F1、BLEU 或 LLM-as-judge 打分，这些指标与业务价值之间往往没有直接映射。线上回归则要定义可操作的业务指标：任务完成率、人工接管率、投诉率、平均响应时延、单次调用成本。两条线要建立对照表，明确哪些离线指标变化可以解释哪些线上指标变化。对于生成式任务，建议采用“规则校验 + 人工抽检 + 模型评审”三层结构，避免单一评审模型带来的系统性偏差。评测集本身也要版本化，每次变更记录原因和影响面，防止“改题改到分数好看”。