导读：深度学习的泛化能力来自一套正则化组合拳。Goodfellow 第 7 章把这些技术按作用机理分类，避免「全堆上去」的蛮干。
参数惩罚与结构约束
L2 权重衰减压小平缓方向的权重；L1 稀疏化。注意解耦：Adam 场景下权重衰减应与梯度更新分离（AdamW），否则自适应学习率会削弱惩罚。
Dropout：训练时以概率 $p$ 随机置零神经元，等效于训练指数多个子网络的集成；推理关闭并按 $1/(1-p)$ 缩放（inverted dropout）。它防止共适应，在数据少的全连接层收益最大。
数据层面的正则化
数据增强是最强正则化（旋转、裁剪、色彩抖动、MixUp）：免费扩大数据分布覆盖。预训练加微调则是「用别人的大数据」——迁移学习是数据稀缺场景的正解。
早停的几何解释：训练损失单调下降，验证损失先降后升（过拟合拐点）——在验证损失最低点停手。它是免费的隐式正则化，也是必开的基线手段。
诊断流程
先过拟合一个小子集（验证管道正确），再加大模型看验证曲线：训练与验证差距大则加强正则化或增数据；两者都高则欠拟合，加大容量。调参顺序：数据、容量、正则化强度、优化器细节。
常见误区
- Dropout 用在 batch norm 之前导致方差偏移（顺序与缩放要配套）。
- 验证集参与调参后当测试集报告（信息泄漏）。
吃透自检
- 能解释 Dropout 的集成解释与推理缩放
- 能区分 Adam 与 AdamW 的正则化差异
- 能按诊断流程区分过拟合与欠拟合