人工智能 从零学起 · 全书 5 节学习笔记

模式识别与机器学习(Bishop PRML)

模式识别与机器学习 · Pattern Recognition and Machine Learning

这本书在讲什么(给完全没接触过的你)

机器学习有两大学派:一类直接学「输入→输出」的映射(判别式),另一类先建模「数据是怎么产生的」(生成式)。Bishop 的 PRML 是生成式学派的圣经:它把机器学习讲成一门贝叶斯科学——所有的预测都带着不确定度,所有的模型都从先验出发。

为什么值得读这一本

PRML(Pattern Recognition and Machine Learning)出版十七年仍是引用最高的机器学习教材之一。它的独特价值:把概率论贯穿到底——每个模型都给出完整的概率解释,每个预测都附带置信度。读完它,你看任何模型都会先问「它的概率假设是什么」。

你需要先会什么(不会也没关系)

需要:①概率论(条件概率、期望、常见分布——高中到大学初等水平可起步);②线性代数(矩阵运算);③一点微积分(求导、积分)。不需要测度论——PRML 刻意避开了它,用严谨但初等的方式处理。建议配合书末符号表阅读,前两章要慢读。

怎么用这份学习笔记

下面是全书的逐节笔记目录。每一节都是独立一页:先讲这节解决什么问题,再把核心概念和公式一条条拆开讲,配上原文要点(公式与出处定位)、例题演算和自检问题。建议顺序读,读完一节再点下一节;卡住就回导览页看「新手最容易卡住的三个地方」。

逐节笔记全书 5 节 · 每节一页

全书目录 · 点开每一节

01 第 1 章 · 导论:机器学习的概率世界观Bishop 的全书立场在第一章就亮明:机器学习 = 概率建模 + 贝叶斯推断。多项式拟合这个最小的例子,被他用来把基函数、损失、正则化、贝叶斯后验、模… 开始精读 → 02 第 2 章 · 概率分布:武器库的盘点先把常用分布的参数估计与性质盘清楚——它们是后续所有模型的原材料。这一章的重头戏是高斯分布的深度加工:条件分布、边缘分布、贝叶斯推断、混合模型,一路打通… 开始精读 → 03 第 3 章 · 贝叶斯线性回归:第一次完整实践把第 1 章的线性模型升维成完整贝叶斯版本:权重的先验、似然、后验、预测分布全部解析可算。这一章是"贝叶斯机器学习怎么做"的标准模板,也是高斯过程(第 … 开始精读 → 04 第 6 章 · 核方法:从线性到无限维凡是算法只通过内积 \phi(x)^T\phi(x') 访问数据,就能用核函数 k(x, x') 偷梁换柱——隐式地工作在无穷维特征空间。支持向量机与高… 开始精读 → 05 第 9 章 · EM 算法与高斯混合:潜变量的觉醒数据里藏着看不见的变量(哪个分量生成的、隐状态是什么),EM 算法给出处理潜变量的通用套路:迭代"猜后验(E)+ 最大化期望似然(M)"。GMM 是它的… 开始精读 →
避坑指南新手卡点

新手最容易卡住的三个地方

卡点一:公式密度太高读不动

PRML 每页公式多但几乎都能手推。对策:每个公式旁边准备「三行翻译」——这步用了什么假设、交换了什么运算、目标是什么。第三章与第九章必须全部手推,其余章节可略推。

卡点二:贝叶斯与频率派的选择困惑

两者不是敌对而是互补:数据多时后验被似然主导,两派结论趋同;数据少或需要不确定度时贝叶斯占优。工程默认用最大似然起步,需要置信度时升级贝叶斯。

卡点三:EM 的 E 步和 M 步记混

口诀:E 步算「责任」(每个数据点属于每个簇的概率),M 步「换新参数」(把责任当固定权重重新拟合)。收敛靠 ELBO 单调性保证。自己动手推一遍高斯混合的更新公式,胜过读十遍。

学完之后,你会多出什么

学完 PRML,你将拥有:概率图景下的机器学习全景(回归、分类、聚类、降维、序列)、EM 与变分推断的扎实功底、以及「为任何模型配上不确定度」的能力。它是读现代概率机器学习文献的许可证,也是贝叶斯深度学习、高斯过程方向的地基。

← 返回经典研读 人工智能 · 相关论文精读

← 经典研读 · 六大方向 36 本经典