第 9 章 · EM 算法与高斯混合：潜变量的觉醒

数据里藏着看不见的变量（哪个分量生成的、隐状态是什么），EM 算法给出处理潜变量的通用套路：迭代"猜后验（E）+ 最大化期望似然（M）"。GMM 是它的标本，K-means 是它的极限特例。

潜变量模型的困境与 EM 的两步舞

GMM 对数似然 $\ln\prod_n\sum_k\pi_k\mathcal{N}(x_n|\mu_k, \Sigma_k)$ 的 log-of-sum 卡死求导。EM 的视角：分布 $q(z)$ 与 $\ln p(X, Z|\theta)$ 之间有恒等式

每轮下界单调不降 ⟹ 似然单调升——EM 的收敛性保证（局部最优）。

• E 步：令 $q = $ 后验（KL=0）；
• M 步：固定 $q$ 最大化下界 $\mathcal{L}$（此时 log-of-sum 变 sum-of-log，可解）。

GMM 的 EM 公式

K-means 是"责任硬化为 one-hot + 协方差固定"的极限——聚类谱系的连续统（硬 → 软 → 贝叶斯）。

• E 步：责任 $\gamma_{nk} = \frac{\pi_k\mathcal{N}(x_n|\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal{N}(x_n|\mu_j,\Sigma_j)}$（软分配）；
• M 步：$\mu_k = \frac{\sum_n\gamma_{nk}x_n}{N_k}$、$\Sigma_k$ 加权协方差、$\pi_k = N_k/N$（$N_k = \sum_n\gamma_{nk}$）。

诊断、变分与贝叶斯化

EM 的普适性：混合模型、隐马尔可夫（Baum-Welch）、因子分析、缺失数据填充——"有隐变量就找 EM"是通用逃生通道。

• EM 的实用陷阱：奇异解（某分量塌缩到单点，$\Sigma\to0$）——协方差加正则或限制；初始化敏感（多起点/K-means 预热）；分量数选择（验证集、BIC，或直接上变分推断自动剪枝）；
• 变分贝叶斯 GMM（第 10 章预告）：对参数也放分布，Dirichlet 先验让多余分量自动"饿死"——分量数的贝叶斯答案。

老师的提醒

• 实现 GMM 的三个体检项：责任列和为 1（数值上 log-sum-exp 稳定化）、协方差正定（加 $\epsilon I$）、似然曲线单调升（不升必有 bug）。
• K-means 与 GMM 的互换直觉：K-means = 球形等方差 GMM 的硬 EM——聚类结果差异大时先怀疑数据不是球形簇。

自检

• 写出 EM 的两步与收敛性论证。
• GMM 的 E 步责任与 M 步更新公式？
• K-means 是 GMM 的什么极限？

更深一层：EM 算法是"潜变量推断的通用框架"

EM 算法的深层结构比 GMM 的公式重要得多：任何含潜变量的模型（混合模型、隐马尔可夫、因子分析、缺失数据）都适用"迭代猜后验（E 步）+ 最大化期望似然（M 步）"的交替。它的理论身份证明——下界分解 $\ln p(X|\theta) = \mathcal{L}(q,\theta) + \mathrm{KL}(q\|p(Z|X,\theta))$——把 EM 定位为坐标上升于下界：E 步沿函数空间、M 步沿参数空间，交替逼近似然峰值。单调收敛保证（每轮下界不降）是它的定心丸。

EM 的实用陷阱清单：奇异解（某分量塌缩到单点——协方差加正则）、初始化敏感（多起点/K-means 预热）、分量数选择（BIC/验证集，或变分贝叶斯自动剪枝）。变分贝叶斯 GMM（第 10 章预告）把参数也放分布——Dirichlet 先验让多余分量自动"饿死"，分量数的贝叶斯答案。

推导细读：GMM 的 E 步责任是"软分配的后验概率"

责任 $\gamma_{nk} = \frac{\pi_k\mathcal{N}(x_n|\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal{N}(x_n|\mu_j,\Sigma_j)}$ 的物理身份是软分配的后验概率——每个点对每个分量"归属程度"的概率。K-means 是它的硬化极限（责任 one-hot + 协方差固定）——聚类谱系的连续统（硬 → 软 → 贝叶斯）。责任就是"不确定性显式化"的聚类——医学诊断（患者同时符合多种亚型）、推荐系统（用户兴趣的混合分布），软分配比硬分配信息量大得多。

在真实世界里：EM 家族的"通用逃生通道"

EM 家族在现代的应用版图：混合模型（GMM 聚类、语音的 GMM-HMM 时代）、隐马尔可夫（Baum-Welch = EM 的 HMM 版——序列标注的经典引擎）、因子分析与缺失数据（不完整数据的最大似然）、主题模型（LDA 的变分 EM）。"有隐变量就找 EM"是通用逃生通道——变分推断（VBEM/VI）是它的现代深度化，但 EM 的"交替优化"思想在深度学习的期望最大化变体（如 VAE 的交替编码器-解码器更新）里依然活着。

专题深入：EM 的"单调攀升证明"完整版

第九章 EM 算法的灵魂是下界攀升的几何：Jensen 不等式给出 $\ln p(X|\theta) \ge \mathcal L(q, \theta) = \int q(Z)\ln\frac{p(X, Z|\theta)}{q(Z)}dZ$——E 步用当前参数把 $q(Z) = p(Z|X, \theta^{old})$ 贴到界紧（此时 $\mathcal L = $ 对数似然），M 步最大化 $\mathcal L$ 得新参数 ⟹ 似然必然不降（EM 的收敛保证 = 界的语言，不需要凸性）。KL 间隙 $\ln p - \mathcal L = \mathrm{KL}(q\|p(Z|X,\theta))$ 是"界与真值的距离"——变分推断（第十章）就是把 E 步换成"在受限函数族里最大化 $\mathcal L$"的推广：EM 是变分法的特例（q 无约束）。GMM 的 E/M 闭式（E 步算责任 γ、M 步重新闭式解 μ/Σ/π）；K-means 是 GMM 的极限（球形协方差 + σ→0 时硬分配——K-means = 硬 EM 的极限版，聚类史的两大算法在此统一）。

推导细读：潜变量思想的"三次变现"完整版

潜变量框架的三次变现值得对照：GMM（离散潜变量 = 成员归属——聚类 + 密度估计双职能；确定性退火或多次重启对"坏局部极小"——EM 无全局保证的工程对策）；因子分析/PPCA（连续潜变量 = 低维因子——$x = Wz + \mu + \epsilon$，PPCA 的主子空间与 PCA 等价但多了概率外壳（可做 EM、可缺失数据、可与分类拼接）——"PCA 的概率化"是生成模型思想的第一课）；混合专家（离散潜变量选专家 + 专家回归——MoE 大模型的祖师爷结构）。缺失数据的 EM（数据缺失机制 MCAR/MAR 的区分、E 步按条件期望填补——缺失值处理从"均值填充"升级为"模型化处理"）。辨识性与初始化（成分交换、协方差奇异的处理——正则化 M 步或贝叶斯化（MAP-EM）是实务必做）。

工程案例细节：EM 生态的产业出口工程版

第九章的工程出口：语音与生物信号的 HMM 前哨（GMM-HMM 声学模型统治语音识别三十年——EM 的 Baum-Welch 版本至今在音素对齐工具（Kaldi）里跑）；用户分群与营销（GMM 软聚类 + 每群画像——比 K-means 多输出"归属概率"，精准营销的受众分层标准工艺）；推荐系统的 PPCA/矩阵分解（协同过滤的 EM 版处理缺失评分——Netflix 时代的核心算法）；半监督学习（GMM 的 EM 版天然吃未标注数据：无标签样本进入 E 步提升参数估计——标签贵、数据多的场景标准解）；异常检测（GMM 密度阈值 + 低于分位的样本报警——设备故障预警、支付风控的密度法基线）；图像分割（MRF + GMM 的 EM 迭代——医学影像的器官粗分割仍然常用）。"看不见的变量 + 交替优化"是半个机器学习的方法论——EM 是它的最小完备实现。