导读：PRML 第 9 章的 EM 算法是潜变量模型的通用训练机。它的收敛性证明（ELBO 单调不降）比算法本身更值得吃透。
高斯混合的动机
$K$ 个高斯加权混合：直接最大似然因求和在对数里而无闭式解。引入隐变量（样本属于哪个分量）后，给定隐变量的对数似然可解。
鸡生蛋问题：知道隐变量可估参数，知道参数可推隐变量分布——EM 用迭代破局。
E 步与 M 步
E 步：用当前参数算责任（后验概率）。M 步：固定责任，重估均值、协方差、权重（加权最大似然，有闭式）。
收敛性的语言：对数似然 = ELBO 加上 KL 散度。E 步令 KL 为零（取真后验），M 步令 ELBO 增——每轮完整似然单调不降，收敛到驻点。
推广与失效
EM 只保证驻点（可能局部次优）：多初始化加协方差正则是工程必需。变分推断是把精确后验换成近似后验的推广——深度生成模型的语言直接接上。
常见误区
- 协方差退化（某分量塌到一个点）导致数值崩溃，需最小方差约束。
- 以为 EM 全局收敛。
吃透自检
- 能推导 GMM 的 E 步与 M 步闭式更新
- 能用 Jensen 不等式证明 ELBO 与单调收敛
- 能说出 EM 的两种失效模式