第 3 章 · 贝叶斯线性回归：第一次完整实践

把第 1 章的线性模型升维成完整贝叶斯版本：权重的先验、似然、后验、预测分布全部解析可算。这一章是"贝叶斯机器学习怎么做"的标准模板，也是高斯过程（第 6 章）的前身。

后验与预测分布

先验 $p(\mathbf{w}) = \mathcal{N}(\mathbf{0}, \alpha^{-1}I)$、似然（高斯噪声精度 $\beta$）：

MAP 估计 = 后验均值；预测分布 = 权重后验积分后的高斯：

预测方差的第二项随数据增长而收缩——不确定性的数据驱动收缩，贝叶斯方法的招牌行为（远离训练点的区间宽，密集区间窄）。

证据近似与模型比较

超参数 $\alpha, \beta$（对应正则强度与噪声水平）用证据函数 $p(\mathbf{t}|\alpha,\beta)$ 最大化自动确定——正则化系数从"验证集调参"升级为"模型内部的推断"。证据自动执行奥卡姆剃刀：复杂模型惩罚（大参数空间的证据稀释）——贝叶斯奥卡姆因子。

与正则化回归的对照

MAP + 高斯先验 = 岭回归（$\lambda = \alpha/\beta$）；贝叶斯版本多出的资产：置信区间、超参自动化、序贯更新。核化的预告：所有公式里 $\Phi$ 只以 $\Phi^T\Phi$ 或 $\phi^T\phi$ 出现 → 可换成核矩阵（第 6 章落地为 GP）。

老师的提醒

• 这一章是全书的"操作说明书"：先验（α）→ 后验（m, S）→ 预测（均值+方差）三段式，几乎每个贝叶斯模型都是这个模板的变奏。
• 观察预测分布随数据量增加的动画式变化（Bishop 官网图）：窄化与贴数据，两个行为对应"方差收缩 + 均值贴合"。

自检

• 写出后验精度与均值的更新公式。
• 预测方差的两项各来自什么？
• 证据最大化为什么能自动选正则强度？

更深一层：贝叶斯线性回归的"三段式"是所有贝叶斯模型的模板

先验（α）→ 后验（m, S）→ 预测（均值+方差）的三段式是贝叶斯机器学习的通用模板，几乎每个贝叶斯模型都是它的变奏。后验精度公式 $S_N^{-1} = \alpha I + \beta\Phi^T\Phi$ 的结构值得读透：精度 = 先验精度 + 数据精度——证据的积累就是精度的加法。预测方差的两项（$\beta^{-1}$ 是噪声固有、$\phi^T S_N\phi$ 随数据收缩）给出了不确定性的完整会计：离训练点远的地方方差大、数据密集的地方方差小——这就是"贝叶斯模型的自信度地图"，主动学习与贝叶斯优化全靠它导航。

推导细读：证据近似的"自动奥卡姆"

超参数 $\alpha, \beta$ 用证据函数 $p(\mathbf{t}|\alpha,\beta)$ 最大化自动确定——证据自动执行奥卡姆剃刀：复杂模型在大参数空间里证据被"稀释"（积分摊薄），简单模型证据集中。模型复杂度自动定价：证据最大的模型是"数据恰好支撑"的最简模型——这就是"贝叶斯奥卡姆因子"的机制。证据近似的局限同样诚实：它是超参的点估计（不算完整贝叶斯），在超参后验尖锐时好用、扁平时会过自信。

在真实世界里：从贝叶斯线性回归到高斯过程的"核化一跳"

第 3 章的所有公式里 $\Phi$ 只以 $\Phi^T\Phi$ 或 $\phi^T\phi$ 出现——核化的预告：把 $\phi^T\phi$ 换成核矩阵 $k(x, x')$ 就得到高斯过程。这条从"权重视角"到"函数视角"的桥是全书最优雅的转折：贝叶斯线性回归（参数空间推断）与高斯过程（函数空间推断）在数学上是同一件事的两面账——这个对偶性直接决定了 GP 的核超参学习、稀疏近似、以及它与神经网络的极限关系（NNGP）。

专题深入：线性回归的"三视角全解"完整版

PRML 第三章的功力在于同一个线性回归讲三遍：最大似然版（最小二乘 + 噪声方差估计——点估计，$\hat w = (\Phi^T\Phi)^{-1}\Phi^T t$ 正规方程）；贝叶斯版（参数后验 $p(w|t)$ 是高斯——均值 = MAP 解、协方差 = 不确定度，预测分布把参数不确定度叠进输出：远离训练数据的 x 预测区间自动变宽）；证据版（边际似然选超参数 α, β——不需要交叉验证的证据最大化，type-II ML）。三视角的产出物依次是：预测点、预测区间、模型选择——工程上三者常按需混合（点预测 + 后验近似 + CV 兜底）。基函数选择的灵活度（多项式、高斯基、sigmoid 基）让"线性模型"其实是"参数线性"——非线性能力来自基函数，参数空间的线性保证了闭式解，这是理解 GLM、核方法、浅层网络的共同起点。

推导细读：偏差-方差分解的"全推导"完整版

第三章的招牌推导必须完整走一遍：期望平方损失按数据集分布分解 $E_D[(y(x;D) - h(x))^2] = \mathrm{Bias}^2 + \mathrm{Var} + \sigma^2$——推导的枢纽是加减真值 $h(x)$ 与平均预测 $E_D[y]$ 的两次配方；正则系数 λ 扫描实验（多项式 9 次拟合 10 点：λ 大偏差大方差小、λ 小相反——U 型泛化曲线的理论解释）；贝叶斯视角的重述（偏差来自先验与真值的失配、方差来自后验的展宽——正则化就是注入"宁可偏离也不乱猜"的先验）。超参数的两种定法对照（交叉验证的频率派 vs 证据最大化的贝叶斯——后者省算力但对先验误设敏感）。设计矩阵 $\Phi$ 的病态性与岭回归（$\lambda I$ 正则 = 条件数手术）——数值稳定与统计正则在 L2 惩罚上合流，"一个 λ 双重收益"是岭回归百年不过时的原因。

工程案例细节：线性模型的工业地位工程版

第三章的工程出口：逻辑回归仍是广告 CTR 主力（亿级特征 + 在线学习 FTRL——"简单模型 + 大数据 + 好特征"路线的常青树）；岭回归/Lasso 的特征工程场景（多重共线性诊断（VIF）→ 岭回归；Lasso 的稀疏性做特征筛选——基因数据 p >> n 的标准处理）；贝叶斯线性回归的小数据场景（实验设计、传感器校准：预测区间比点预测更值钱的场景）；泊松回归/生存分析（保险定价的 GLM 家族——精算师的日常）；在线学习的在线更新（正态共轭的流式版本——物联网端侧传感器的自适应校准）。"先跑线性基线"不是保守而是纪律：所有复杂模型的增益都要对它记账。