第 6 章 · 核方法：从线性到无限维

凡是算法只通过内积 $\phi(x)^T\phi(x')$ 访问数据，就能用核函数 $k(x, x')$ 偷梁换柱——隐式地工作在无穷维特征空间。支持向量机与高斯过程是两大收获。

对偶表示与核的构造

线性回归/分类的解总可以写成训练点的组合 $\mathbf{w} = \sum\alpha_n\phi(x_n)$（对偶性）——算法只依赖 Gram 矩阵 $K_{nm} = k(x_n, x_m)$。合法核的条件（Mercer）：Gram 矩阵半正定。核的构造学：常数核 + 线性核、多项式核 $k = (x^Tx' + c)^M$（$M$ 阶特征交互——维数随阶数组合爆炸，核一招抹平）、高斯核 $k = \exp(-\|x - x'\|/2\sigma^2)$（无限维、局部性）；核的封闭运算（和、积、指数）与生成式核（从概率模型造核）。

支持向量机：大间隔的分类器

硬间隔 SVM：$\min\frac12\|w\|^2$ s.t. $y_n(w^T\phi_n + b) \ge 1$——最大间隔的唯一性来自最小化范数。对偶问题（拉格朗日）只在支持向量上有非零 $\alpha_n$（解的稀疏性）；软间隔引入松弛变量 $\xi_n \ge 0$ 与惩罚 $C$：$\min\frac12\|w\|^2 + C\sum\xi_n$——$C$ 是"间隔 vs 误分类"的旋钮。核化后的判决函数 $y(x) = \text{sign}\left(\sum_{n\in SV}\alpha_n t_n k(x_n, x) + b\right)$。 SVM 的三个卖点：凸优化（全局解）、间隔界（泛化的理论担保）、稀疏支持向量（预测只算少数点）。

高斯过程：贝叶斯版的核方法

GP 直接在函数空间上放先验：$\{f(x)\}$ 是高斯过程，由均值函数与协方差核 $k(x,x')$ 定义。预测 = 条件高斯：

与贝叶斯线性回归等价（$k = \phi^T\phi$ 时），但跳过显式特征——"权重视角"与"函数视角"的两面账。GP 的超参（长度尺度、信号方差）由边缘似然最大化调出；GP 的强项是校准的不确定性（主动学习、贝叶斯优化的引擎）。

老师的提醒

• 判断"该不该核化"：特征工程容易 → 显式特征 + 线性模型（快）；结构相似性容易定义 → 核（SVM/GP）。
• GP 的计算瓶颈 $O(N^3)$（矩阵求逆）：千级样本舒适、万级要稀疏近似——实用前先估规模。

自检

• Mercer 条件与核的构造运算？
• 软间隔 SVM 的优化目标与三个超参作用？
• GP 预测的均值与方差公式、与贝叶斯线性回归的等价？

更深一层：核技巧的"适用判据"

核技巧的全部适用判据浓缩成一句话：算法中数据只以内积 $\phi(x)^T\phi(x')$ 出现——就可以把内积换成核函数 $k(x, x')$，隐式地工作在无穷维特征空间。Mercer 条件（Gram 矩阵半正定）是核的合法性检查。核的构造学（多项式核 = 阶数交互、高斯核 = 局部性无限维、从概率模型造核）与封闭运算（和、积、指数）是工具箱的两层。

SVM 的三大卖点值得再强化：凸优化（全局解保证——与神经网络的非凸形成对照）、间隔界（泛化的理论担保——VC 理论的最大成就）、稀疏支持向量（预测只算少数点——部署效率）。高斯过程则是"贝叶斯版的核方法"：预测带校准的不确定性——主动学习（选最不确定的点标注）与贝叶斯优化（用 GP 代理昂贵目标函数）的引擎。

推导细读：对偶性的"为什么会稀疏"

SVM 的稀疏性（解只在支持向量上）来自 KKT 条件的互补松弛：$\alpha_i[y_i(w\cdot x_i + b) - 1] = 0$——不在间隔边界上的点 $\alpha_i = 0$（对偶变量清零）。"大多数点不重要"是对偶问题几何的直接读数——间隔边界上的点才是"决定边界"的少数派。这个稀疏性使 SVM 的预测只需要与支持向量算核——$O(N_{SV})$ 而非 $O(N)$。稀疏性 = 问题结构的浮现——这个思想在压缩感知（稀疏重建）与核方法里反复回响。

在真实世界里：核方法 vs 深度学习的"分工边界"

核方法与深度学习的分工边界值得诚实画清：核方法（SVM/GP）在中小数据集 + 结构相似性好定义时强（几千到几万样本、凸优化有保证、带不确定度）；深度学习在大数据 + 层次特征时强（百万级样本、端到端表示学习）。GP 的 $O(N^3)$ 瓶颈（矩阵求逆）是其规模天花板——千级样本舒适、万级要稀疏近似。这个边界不是"过时 vs 现代"，而是两个互补的工具箱——核方法在小数据上至今是冠军。

专题深入：核技巧的"两次平方"完整版

PRML 第六章的理论心脏是表示定理：正则化最小二乘的最优解 $y(x) = \sum_n \alpha_n k(x, x_n)$ 只表达为训练点的核函数组合——"解在训练点张成的空间里"，这把参数空间问题转成 N 维对偶空间（Gram 矩阵 $K_{nm} = k(x_n, x_m)$，半正定是核函数的充要条件——Mercer 定理的实用版）。核技巧的机制：算法里凡出现内积 $\phi(x)^T\phi(z)$ 都可替换为 $k(x, z)$——显式特征映射被绕过：RBF 核对应无限维特征空间仍一行代码可算。"核化"清单：核岭回归、核 PCA（特征向量在原空间是特征向量的系数）、核 K-means、高斯过程（下一站）。核的设计学（合法核的封闭运算：和、积、指数、卷积——组合核把领域知识编码进相似度：字符串核用于基因序列、图核用于分子——"相似度即归纳偏置"是核方法的核心工程哲学）。

推导细读：高斯过程的"函数空间视图"完整版

高斯过程（GP）的推导起点是函数上的高斯分布：任何有限点集的函数值联合高斯，完全由均值函数与协方差核 $k(x, x')$ 决定。回归版的后验条件化（$N$ 个训练点条件化后仍是高斯——均值/协方差的闭式公式）给出预测分布：每个 x 一条高斯——不确定度天然分层（训练点附近收缩、远处展宽）。核超参数的语义（RBF 核的长度尺度 ℓ：函数"多快变"；信号方差：幅度——边际似然自动学这些参数，且对每个超参数给出"偏好"——这是 GP 相比手工调参的深刻优势）。GP 与贝叶斯线性回归等价（基函数视角 vs 函数视角，一个硬币两面）；稀疏近似（Nyström、诱导点变分法把 $O(N^3)$ 压到 $O(NM^2)$——大样本可用）；GP 分类的 probit 后验无闭式 → EP/拉普拉斯近似——贝叶斯深度学习的不确定度输出与 GP 一脉相承。

工程案例细节：核方法与 GP 的产业出口工程版

第六章的工程出口：SVM/核方法的存量系统（文本分类的线性 SVM + TF-IDF 仍是强基线——线性核 + 百万特征是工业文本分类的性价比之王）；贝叶斯优化的 GPU 时代复兴（GP 代理模型 + 采集函数 EI——神经架构搜索、超参数调优（Optuna/BoTorch）、实验设计（材料/药物筛选）的默认引擎：每次评估贵到几千美元时 GP 的样本效率变现）；时空插值（地统计学的克里金法就是 GP——气象场插值、无线信号场强图、环境监测）；函数视图的深度学习接口（神经正切核 NTK：无限宽网络 ≈ GP——"深学习与核方法统一"的理论桥）；分子性质预测（图核/分子指纹 + GP 的小样本筛选——药化与催化领域的 active learning 流水线）。核方法的黄金场景：样本贵、维度高、需要不确定度——与深度学习的海量标签场景完美互补。