第 2 章 · 概率分布：武器库的盘点

先把常用分布的参数估计与性质盘清楚——它们是后续所有模型的原材料。这一章的重头戏是高斯分布的深度加工：条件分布、边缘分布、贝叶斯推断、混合模型，一路打通到 EM 的门口。

离散分布与共轭先验

二项/多项分布与 Beta/Dirichlet 先验（共轭：后验与先验同族，超参数直接"计数累加"）。共轭性的实用意义：贝叶斯更新变成解析的加法——序贯学习（来一条数据更新一次）的最小实现。

高斯分布的系统工程

条件分布与边缘分布仍是高斯（分块矩阵的舒尔补运算）：$\mathbf{x}_a$ 已知时 $\mathbf{x}_b$ 的条件均值/方差公式——线性高斯模型的条件传播规则。贝叶斯推断高斯均值（已知方差）：先验 $\times$ 似然 = 后验，精度相加、均值按精度加权——"证据积累"的解析样板。学生 t 分布（鲁棒估计）、混合高斯的预告（任意分布 = 高斯混合——KDE 与 GMM 的根据）。

从 GMM 到 EM 的门

似然取对数后含 latent 责任 $z$：直接求导卡在 log-of-sum。EM 的思想预告：交替"猜责任（E 步）"与"固定责任更新参数（M 步）"——第 9 章正式展开，本章先把舞台搭好。

老师的提醒

• 高斯分块条件分布公式（精度矩阵视角：$\Lambda$ 分块）值得抄在手边——回归、滤波、GP 全靠它。
• "先验超参 = 虚拟计数"的直觉（Beta-Binomial）让贝叶斯更新不再抽象：$\alpha,\beta$ 加上正负样本数即后验。

自检

• 共轭先验是什么、好在哪？
• 写出条件高斯的均值与协方差公式（精度矩阵形式）。
• 为什么 GMM 的 MLE 不能闭式解？

更深一层：共轭先验是"贝叶斯解析可解性的边界"

共轭先验（Beta-Binomial、Dirichlet-Multinomial、高斯-高斯）的性质——后验与先验同族、超参数直接"计数累加"——让贝叶斯更新变成解析的加法。共轭性是贝叶斯推断能"解析计算"的边界：出了共轭族，后验没有闭式，必须用数值（MCMC、变分推断、拉普拉斯近似）。这个边界意识直接指导建模：想解析就快选共轭，想表达力就上非共轭+数值推断——先验的选择不只是哲学，是计算可行性。

先验超参 = 虚拟计数的直觉（Beta(α, β) 等效 α+β 次虚拟抛掷）让贝叶斯序贯学习变成纯加法：每来一个数据点 $\alpha$ 或 $\beta$ 加 1——在线学习的最小实现。这个"虚拟样本"图像是理解一切共轭先验的钥匙。

推导细读：高斯的"三大运算封闭性"——高斯机器学习的地基

高斯分布的三大运算封闭性——线性变换、条件分布、边缘分布都仍是高斯——是高斯机器学习（线性高斯模型、高斯过程、卡尔曼滤波）的合法性来源。条件高斯的公式（分块矩阵的舒尔补运算）值得抄在手边：$\mathbf{x}_a$ 已知时 $\mathbf{x}_b$ 的条件均值 = $\mu_b + \Sigma_{ba}\Sigma_{aa}^{-1}(\mathbf{x}_a - \mu_a)$、条件协方差 = $\Sigma_{bb} - \Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab}$。这套"精度矩阵分块"的运算是高斯过程预测、卡尔曼滤波更新、线性高斯推断的共同引擎——学一次，三处受益。

在真实世界里：分布家族的"机器学习岗位表"

各分布的机器学习岗位：伯努利/分类（分类问题的似然与输出层）、高斯（回归噪声、正则化先验、聚类的分量）、指数族（广义线性模型的统一框架——逻辑回归、泊松回归、softmax 全在内）、Dirichlet（主题模型 LDA 的先验）。"选一个分布"在机器学习中等于"选一个似然 + 一个先验"——分布家族表就是模型族的零件清单。

专题深入：概率分布的"武器库编目"完整版

PRML 第二章的系统价值是编目而非罗列：二项分布的连续极限（大 N）→ 高斯；小概率极限（N 大 μ 小）→ 泊松——三个分布是同一族的不同渐近区。共轭先验家族表是本章的实用资产：Beta-二项（硬币/A-B 测试—— Thompson 采样的计算内核）、Dirichlet-多项（主题模型 LDA 的地基）、Gamma-泊松（排队/计数）、正态-正态（卡尔曼滤波的一步更新原型）。指数族 $p(x|\eta) = h(x)e^{\eta^T T(x) - A(\eta)}$ 是编目的"纲"：充分统计量 $T(x)$（数据可压缩成一个统计量不丢参数信息）、对数配分函数 $A(\eta)$ 的梯度 = 矩（与统计物理配分函数的数学同构——$A$ 就是自由能），GLM（广义线性模型）与变分推断的推导都在指数族语言里最干净。无参数方法（直方图→核密度→近邻）的偏差-方差对照收尾：带宽 h 是全部代价——"非参数不是无参数，是把参数换成带宽"。

推导细读：高斯世界的"全家桶"完整版

高斯分布一节的推导深度是 PRML 的招牌：条件分布与边缘分布都是高斯（分块精度矩阵 Λ 的公式：条件均值 $\mu_{a|b} = \mu_a + \Lambda_{aa}^{-1}\Lambda_{ab}(x_b - \mu_b)$——回归 = 高斯条件化的特例）；贝叶斯线性回归的在线更新（后验精度 = 先验精度 + 数据精度累加——顺序更新一行公式，比批处理优雅且流式可用）；证据函数的边际似然（模型比较的奥卡姆因子：数据的概率要给所有参数分摊——复杂模型"解释得好"但"先验稀释"，边际似然自动惩罚——贝叶斯奥卡姆剃刀的定量版）。混合高斯与无限混合（GMM 的 EM 框架预告、狄利克雷过程混合 = "自动定 K"的贝叶斯答案）。多维高斯的几何（马氏距离椭圆、特征分解 = 主轴对齐）为 PCA 与判别分析备好语言。

工程案例细节：分布工具箱的产业出口工程版

第二章的工程出口：A/B 测试与贝叶斯决策（Beta 后验采样做 Thompson 采样多臂分配——头部互联网公司流量分配的默认算法，比固定显著性检验早收敛数倍）；核密度估计的异常检测（带宽用 Silverman 法则起步、分位数画异常线——风控冷启动的经典组合）；卡尔曼滤波（正态-正态共轭的时序化：预测步 + 更新步各一行——导航、雷达跟踪、姿态估计的百年算法；扩展/无迹卡尔曼处理非线性）；主题模型与内容理解（LDA 的 Dirichlet-多项三层结构——新闻聚类、专利分析、推荐冷启动的文本语义层）；泊松过程的容量规划（呼叫中心、云服务 QPS 的到达建模——Erlang 公式的泊松根基）。"先选分布族再谈模型"是统计工程的老规矩，第二章就是族谱。