导读：综合 PRML 第 1 章与工程实践的评估方法论：模型线上失效的大多数根因不在算法，而在评估设计的三个陷阱。
数据泄漏
时间序列用随机划分（未来信息混入训练）、特征里含目标衍生物、验证集参与过调参——三种泄漏都会给出离线指标虚高的幻觉。防线：按时间或业务实体划分，验证集冻结，最终测试集只碰一次。
预处理泄漏：归一化、填充、特征选择在划分前全量拟合——应封装进流水线只用训练折统计。交叉验证的每一折都要从零重来。
指标与分布漂移
指标与业务对齐：不平衡数据看精确率召回曲线而非准确率；代价敏感用代价矩阵；排序场景用排序指标。单一指标等于单点视角。
分布漂移三型：协变量漂移（输入分布变）、概念漂移（条件分布变）、标签漂移。上线后的监控（输入分布距离、预测分布、业务指标）与定期重训是部署标准件。
实验纪律
多种随机种子报告均值与方差；显著性检验（配对检验）；基线公平（相同数据、预算、调参预算）。李航与 PRML 的理论章节负责为什么，评估纪律负责真的成立。
常见误区
- 归一化在划分前做，交叉验证分数虚高。
- 线上特征与离线特征的计算口径不一致（训练服务偏斜）。
吃透自检
- 能列举并识别三种泄漏场景
- 能设计防漂移的上线监控方案
- 能执行多种子与显著性检验的对比实验