导读：李航第 8 章用前向分步加法模型统一 Boosting：每轮加一个基学习器去拟合当前损失最快的方向。AdaBoost 的权重更新公式不再是咒语，而是指数损失的必然。
前向分步框架
加法模型逐轮固定已训练部分、只优化本轮系数与基学习器。损失选什么，Boosting 就长什么样。
指数损失下，本轮最优解解析可得：基学习器拟合加权错误率最小的分类器，系数等于错误率比值的对数一半。样本权重更新：分错的样本下一轮更显眼。
与梯度提升的统一
换成平方损失得到梯度提升回归；换成任意可微损失得到 GBDT（XGBoost 与 LightGBM 的祖先）：每轮拟合损失对当前预测的负梯度。Boosting 就是函数空间的梯度下降——这是现代 GBM 的统一语言。
AdaBoost 的抗过拟合之谜（训练误差为零后测试误差仍降）由间隔解释：指数损失持续拉大分类间隔。与 SVM 的间隔理论在此呼应。
实践要点
基学习器用弱学习器（决策桩或浅树）；学习率收缩加子采样加早停控制过拟合；树模型对特征缩放不敏感，是表格数据的首选族。
常见误区
- 基学习器过强（深树），Boosting 退化为顺序过拟合。
- 把 AdaBoost 的样本权重与 GBDT 的梯度混淆（一个改分布，一个改拟合目标）。
吃透自检
- 能从前向分步推导 AdaBoost 的全部更新公式
- 能解释指数损失与 hinge 交叉熵的对比
- 能说明 GBDT 是前向分步的梯度化推广