第 1 章 · 导论：机器学习的概率世界观

Bishop 的全书立场在第一章就亮明：机器学习 = 概率建模 + 贝叶斯推断。多项式拟合这个最小的例子，被他用来把基函数、损失、正则化、贝叶斯后验、模型选择全部预演一遍——这一章是全书的浓缩预告片。

多项式曲线拟合：最小的完整案例

数据 $\{x_n, t_n\}$，模型 $y(x, \mathbf{w}) = \sum_j w_j\phi_j(x)$（$\phi_j$ 是基函数：幂、高斯、sigmoid）。最小平方损失等价于高斯噪声下的最大似然：

高阶多项式剧烈震荡 → 加正则 $\frac{\lambda}{2}\|\mathbf{w}\|^2$ ↔ 高斯先验下的最大后验（MAP）——损失、似然、正则、先验四位一体在第一个例子里全部对上号。

贝叶斯的世界观

频率派 vs 贝叶斯派的分工：MLE 给出单点估计；贝叶斯给整个后验分布 $p(\mathbf{w}|\mathbf{t}) \propto p(\mathbf{t}|\mathbf{w})p(\mathbf{w})$，预测时对权重积分。预测分布的直观红利：数据少的地方预测更"虚"（方差大），数据多的地方更自信——不确定性是贝叶斯方法的出厂配置。

模型选择与偏差-方差

• 训练/验证/测试三分 + 交叉验证的纪律；
• 偏差-方差分解（教科书级的推导）：期望平方误差 = 偏差² + 方差 + 噪声——正则参数 $\lambda$ 小：低偏差高方差（震荡）；$\lambda$ 大：高偏差低方差（平坦）；
• 高斯分布、决策论（最小化期望损失）、信息论（熵、相对熵）作为语言工具在本章后半就位。

老师的提醒

• Bishop 式读法：每个公式都要问三问——它从哪个分布来（似然）？约束是什么（先验/正则）？预测时怎么用（积分还是代入）？
• 偏差-方差分解值得亲手推一遍（取 $E_\mathcal{D}$ 期望、加减两个项）——它是机器学习"过拟合"的定量身份证。

自检

• 平方损失与高斯似然的等价推导。
• 正则项与先验的对应？
• 偏差-方差分解的三项各是什么？

更深一层：贝叶斯框架的"四件套"是贯穿全书的公式

Bishop 的第 1 章用多项式拟合把四件套预演了一遍，值得把它提取成独立公式：似然（数据给参数的证据）× 先验（先验知识）= 后验（更新后的信念）→ 预测（对后验积分）。这个四件套是全书的方法论脊柱——第 3 章的线性回归、第 6 章的高斯过程、第 9 章的 EM，全是它的变体。读 Bishop 时每个公式都要问三问：它从哪个分布来（似然）？约束是什么（先验）？预测时怎么用（积分还是代入）？——三问答全，就真正读懂了一个贝叶斯模型。

贝叶斯与频率派的分工也值得摆正：MLE 给单点估计（快、大数据足够）；贝叶斯给整个后验分布（慢、带不确定度）。数据少的地方预测更"虚"（方差大）——这个"数据驱动的不确定度收缩"是贝叶斯方法的出厂配置，也是它在主动学习与贝叶斯优化里的杀手锏。

推导细读：偏差-方差分解的推导一遍

期望平方误差分解 $E[(y - \hat f)^2] = \text{Bias}^2 + \text{Var} + \sigma^2$ 的推导（对数据集分布取期望、加减 $E_\mathcal{D}[\hat f]$ 项的代数技巧）是机器学习理论的"入门证明"。三个项的对应：偏差（模型族离真值的距离——欠拟合的度量）、方差（模型对训练集扰动的敏感——过拟合的度量）、噪声（问题的固有随机性——不可约）。正则参数 $\lambda$ 的位置就是这根天平的支点——小 λ 低偏差高方差、大 λ 反之。这个分解给出了"过拟合"的定量身份证，也是理解一切正则化选择的理论地图。

在真实世界里：多项式拟合的"反面教材"价值

第 1 章的多项式拟合例子是机器学习的"第一反面教材"：9 阶多项式完美穿过 10 个数据点却剧烈震荡——拟合优度高 ≠ 模型好。它一次性教会了全部后续章节的动机：为什么需要正则化（9 阶的灾难）、为什么需要交叉验证（多项式阶数的选择）、为什么需要贝叶斯（模型证据的自动奥卡姆）。把多项式拟合的九阶震荡图刻进眼睛——之后看到的每个模型都是对它的补救。

专题深入：贝叶斯世界观的"三条公理"完整版

PRML 第一章的立意是把概率论当成唯一支柱：加法规则、乘法规则、贝叶斯定理 $p(w|x) = \frac{p(x|w)p(w)}{p(x)}$ 三件就够建起整座大厦。两种概率观的对质（频率派：概率是长程频率；贝叶斯派：概率是信念度量化——硬币悖论："这枚特定硬币正面朝上的概率"在频率派语言里没有定义却人人都在用）——PRML 全书站在贝叶斯侧，理由是不确定性的统一处理：参数不确定、模型不确定、预测不确定全部进同一个框架。多项式拟合的贝叶斯彩蛋是第一章的招牌推导：最小二乘等价于高斯噪声假设下的最大似然、加正则等价于参数先验（MAP）——频率派的经典方法在贝叶斯语言里各有一席，两种框架不是敌对而是包含。曲线拟合的完整贝叶斯版（预测分布 = 参数后验加权所有预测）给出预测区间随数据稀疏自然变宽——不确定性量化的源头活水。

推导细读：高斯分布的"解剖课"完整版

第二章之前的第一章附录级推导：一元高斯的 MLE——对 μ 求导得样本均值（无偏）、对 σ² 求导得样本方差（有偏！偏了因子 (N-1)/N——偏差-方差权衡的最小实例，也是"为什么样本方差除 N-1"的理论出处）。高斯的三个身份要讲全：最大熵分布（固定均值方差下熵最大——"高斯 = 最无偏爱的假设"）、中心极限定理的吸引子（独立小扰动之和趋高斯——噪声建模的物理依据）、共轭先验（高斯-高斯、Beta-二项、Gamma-泊松——共轭性让后验有闭式、在线更新一次一行）。信息的度量（熵、KL、互信息）在第一章收尾：KL 非对称、非负（吉布斯不等式）、互信息 = KL(p(x,y)‖p(x)p(y))——相关性的推广（能捕捉非线性依赖）。

工程案例细节：决策论与"损失"的工程化工程版

第一章决策论的工程出口：最小化期望损失的三种决策面（最小错误率：选后验最大类；一般损失：选期望损失最小动作——垃圾邮件"误杀正常邮件"代价 ≠ "放进垃圾邮件"代价，损失不对称时决策阈值必须移位）；三种策略的分工（生成式建模联合分布（能采样、能查缺失但间接）、判别式直接建后验（直接高效）、判别函数绕过概率（精度高但无不确定性输出——医疗/金融系统必须走概率路线的原因：拒识与人工兜底需要置信度））； rejected option（设置拒绝区：后验不够自信时转人工——风控系统的标准设计）。"模型 + 损失 + 决策规则"三件套的分解是 ML 系统设计的第一张图纸——比"选哪个模型"重要一个量级。