软间隔 SVM 完整对偶推导：从 KKT 到支持向量

导读：李航《统计学习方法》第 7 章的 SVM 对偶推导是中文机器学习书里最值得逐行抄写的一节：拉格朗日对偶把约束问题变成核技巧的入口。

原问题与对偶

硬间隔原问题最小化间隔的半范数；软间隔加入松弛变量与惩罚 $C$。拉格朗日化后对原始变量求偏导回代，得到对偶问题——只依赖样本内积，核技巧由此进入。

KKT 条件的三重身份：互补 slackness 给出支持向量的刻画（间隔边界上或违背间隔的样本）；偏置由支持向量求解（数值稳定性用全部支持向量平均）。

Mercer 条件：核矩阵对称半正定等价于存在某个高维空间的内积。合法核可组合（相加、标量乘、直积）。RBF 核对应无穷维特征空间——SVM 从线性分类器跃迁为通用非线性分类器。

SVM 的先验偏向大间隔：VC 维理论给出期望风险界——统计学习理论的泛化保证（李航第 12 章衔接）。

SMO 算法把对偶分解成两变量子问题解析求解；hinge 损失视角：SVM 等于线性模型加 hinge 损失加 L2，与逻辑回归（交叉熵）只差损失形状——间隔与概率输出之争。