导读：综合 Goodfellow 第 8、11 章与工程实践的训练排错清单：深度学习训练失败的九成原因落在数据、损失、优化三道关上，逐关排查胜过玄学调参。
数据关
过拟合小子集实验：先让模型在十条数据上把训练损失打到近零——打不下去说明管道有 bug（标签错位、输入归一化错误、梯度没传到）。这一步是训练前的信任校准。
标签与分布检查：类别失衡统计、特征量级、训练与验证同分布性。数据泄漏（验证信息混入训练）是离线漂亮、上线翻车的第一大来源。
损失关
损失函数与任务对齐（分类用交叉熵、回归按离群程度选均方或 Huber）；多任务损失的量级平衡（加权或不确定性加权）；softmax 与交叉熵合并实现的数值稳定（log-sum-exp 技巧）。
损失下降行为诊断：初期不降是学习率或初始化问题；后期震荡是 batch size 与调度问题；验证上升是正则化问题。三句话覆盖大半排错树。
优化关
梯度范数逐层统计（爆炸加裁剪，消失查激活与残差）；学习率范围测试定数量级；再上调度（warmup 加余弦）。最后才是模型结构实验——顺序反了会浪费几十轮训练。
常见误区
- 跳过小子集过拟合实验直接全量训练。
- 把固定随机种子当完整可复现性（还需数据顺序、初始化与确定性开关）。
吃透自检
- 能完整复述三道关的排查顺序
- 能实现小子集过拟合与梯度范数统计
- 能给出可复现训练的归档清单