人工智能 从零学起 · 全书 6 节学习笔记

统计学习方法(李航)

统计学习方法(第二版) · Statistical Learning Methods

这本书在讲什么(给完全没接触过的你)

这是一本中文原创、却达到国际水准的机器学习教材:用「模型—策略—算法」三段式,把十种经典监督学习方法逐一讲透。它薄(相对英文大部头)、清晰、每章都自洽——是无数中国工程师进入机器学习的第一本书。

为什么值得读这一本

李航的书有三个无可替代的优点:中文母语阅读无障碍;每个方法都拆成模型、策略、算法三段,结构极其清晰;推导完整但不冗长。它与西瓜书(周志华)并称中文机器学习双璧——西瓜书重视野,李航重推导,两本对照是黄金组合。

你需要先会什么(不会也没关系)

需要:①概率论基础(条件概率、期望、常见分布);②线性代数(矩阵、内积);③微积分(求导、拉格朗日乘数法的概念——SVM 一章会用到)。零基础可以直接从第一章读起,第 1 章本身就是监督学习的最小完整导论。

怎么用这份学习笔记

下面是全书的逐节笔记目录。每一节都是独立一页:先讲这节解决什么问题,再把核心概念和公式一条条拆开讲,配上原文要点(公式与出处定位)、例题演算和自检问题。建议顺序读,读完一节再点下一节;卡住就回导览页看「新手最容易卡住的三个地方」。

逐节笔记全书 6 节 · 每节一页

全书目录 · 点开每一节

01 第 1 章 · 统计学习方法概论:三段式的世界观李航的开篇给出全书的方法论框架:统计学习方法 = 模型 + 策略 + 算法三要素。监督学习的形式化定义、损失与风险、泛化与正则化——这些概念在这一章定型… 开始精读 → 02 第 2–3 章 · 感知机与 K 近邻:最小起点两个最简单的算法,恰好占据两个极端:感知机是"错误驱动"的线性分类最小实现(SVM 与神经网络的祖先);KNN 是"懒惰学习"的极端(没有训练过程,全靠… 开始精读 → 03 第 4–5 章 · 朴素贝叶斯与决策树两个"可解释性满分"的经典:朴素贝叶斯用条件独立假设把生成建模成乘法;决策树用一连串 if-else 把判别过程画成树。两者都简单到可以手算,强到至今活… 开始精读 → 04 第 6 章 · 逻辑回归与最大熵:判别式的主力逻辑回归把线性模型包进 sigmoid 变成概率输出,用对数似然(= 交叉熵)训练;最大熵原理从信息论出发得到同一个模型——两个出发点,一个终点。它是工… 开始精读 → 05 第 7–8 章 · SVM 与 Boosting:全书两座高峰SVM 用间隔与核技巧把线性模型推向几何最优雅的高峰;Boosting 用"串行纠错"把弱学习器推成强学习器。两者代表了两种正交的集成思想:全局最优 v… 开始精读 → 06 第 9–12 章 · 聚类、EM 与隐马尔可夫收官四章是无监督与序列标注的领地:K-means/层次聚类、GMM 与 EM(泛化版)、隐马尔可夫模型的三大问题、以及统计学习方法的总结展望。… 开始精读 →
避坑指南新手卡点

新手最容易卡住的三个地方

卡点一:SVM 对偶推导卡在 KKT 条件

分三步走:先写拉格朗日函数 → 对原始变量求偏导并代回(得到只含 α 的对偶)→ 写出 KKT 互补条件。卡住通常是对偶函数的下确界计算——回到「对 w 求导为零再回代」这一步,一步步来。

卡点二:BookSmart 知道方法但不会落地

每章学完立刻写代码实现(感知机几十行、决策树一两百行)。李航书的推导与代码之间的距离正好是「真懂」与「看懂」的距离。

卡点三:章节之间找不到联系

全书暗线:从「损失函数」看统一——感知机 0-1、逻辑回归交叉熵、SVM hinge、AdaBoost 指数。整理一张「模型×损失×优化」三列表格,全书脉络自动浮现。

学完之后,你会多出什么

学完这本书,你将拥有:十个经典监督学习方法的完整推导能力、把任何新方法拆成「模型-策略-算法」来理解的分析框架、以及从零实现算法的代码能力。它是中文机器学习训练的最高性价比路径,也是读西瓜书与国际文献前的最佳准备。

← 返回经典研读 人工智能 · 相关论文精读

← 经典研读 · 六大方向 36 本经典