人工智能 从零学起 · 全书 5 节学习笔记

深度学习(Goodfellow)

深度学习 · Deep Learning

这本书在讲什么(给完全没接触过的你)

你每天刷到的推荐视频、手机的人脸解锁、聊天机器人——背后都是同一项技术:深度学习。它做的事情一句话能说清:给计算机看几百万个例子,让它自己调整内部几百万个「旋钮」(参数),直到输出越来越接近正确答案。Goodfellow 这本书就是这项技术的官方教科书。

为什么值得读这一本

这是深度学习领域第一部系统性专著,由三位奠基者合著(Goodfellow 是生成对抗网络 GAN 的发明人)。它分三部分:数学与机器学习基础、成熟的深度网络技术、前沿研究方向。它不教你调包,它教你「调包的人在调什么」。

你需要先会什么(不会也没关系)

需要:①线性代数(矩阵乘法、向量);②概率论基础(期望、条件概率);③一门编程语言(Python 最佳)。数学不足怎么办?书的第一部分就是为复习而写的——数学基础、机器学习基础两章可以直接当补课材料。建议边读边在 Colab 上跑代码。

怎么用这份学习笔记

下面是全书的逐节笔记目录。每一节都是独立一页:先讲这节解决什么问题,再把核心概念和公式一条条拆开讲,配上原文要点(公式与出处定位)、例题演算和自检问题。建议顺序读,读完一节再点下一节;卡住就回导览页看「新手最容易卡住的三个地方」。

逐节笔记全书 5 节 · 每节一页

全书目录 · 点开每一节

01 第 1–4 章 · 数学与应用数学的复习(按需取用)这本的第一部分不是"预习"而是"地图":深度学习用到的线性代数、概率、数值计算被压缩成四章工具书。正确的用法是按需回查——但要先通读一遍知道工具箱里有什… 开始精读 → 02 第 5 章 · 机器学习基础:全书的枢纽深度学习只是机器学习的一个分支,而机器学习的骨架在这一章:泛化——在没见过的数据上表现好。过拟合、正则化、超参数、估计量理论:这一章的概念清单会在后面每… 开始精读 → 03 第 6 章 · 深度前馈网络:反向传播的诞生地把线性模型嵌套成"层"的网络,配上非线性激活与梯度下降——深度前馈网络(MLP)就是深度学习的"标准模型机"。这一章把它的每个部件说清楚:为什么非线性、… 开始精读 → 04 第 7–8 章 · 正则化与优化的工程学网络架构定了之后,成败落在两件事上:怎么防过拟合(正则化)与怎么把巨大非凸问题优化好(初始化、动量、自适应学习率)。这两章是深度学习的"施工手册"。… 开始精读 → 05 第 9–12 章 · 专用架构与应用版图最后一部分是"分支地图":卷积(视觉)、循环(序列)、表示学习与生成模型的方法论,以及实际工程的视角。这些章节是各专门领域(视觉/NLP/生成)教材的导… 开始精读 →
避坑指南新手卡点

新手最容易卡住的三个地方

卡点一:反向传播推不动

降维策略:先推「线性回归 + 均方误差」(最简单的情形),再推两层网络,最后推广。每一步画计算图,标出每个节点的局部梯度。推完做梯度检查(数值梯度对照)确认无误。

卡点二:训练不收敛,不知从哪查

按三道关排查:数据关(十个子集能否过拟合?标签对吗?)、损失关(损失函数与任务匹配吗?量级合理吗?)、优化关(学习率扫描过吗?梯度范数逐层正常吗?)。本站 AI 方向的训练自检清单文章有完整流程。

卡点三:书太厚(800 页)读不完

正确读法:第一部分(1–5 章)通读打地基,第二部分选读你的方向(6–8 章必读),第三部分按需查阅。这本 800 页的书第一次读只需要 300 页——其余是为你工作两年后「回来重读」准备的。

学完之后,你会多出什么

学完这本书,你将拥有深度学习的完整理论框架:理解每个网络组件为什么存在、每次训练失败的可能原因、每篇新论文在框架中的位置。它是你读所有现代论文(Transformer、扩散模型)的母语词典,也是本站 AI 方向其余精读(PRML、李航、Sutton)的理想同伴。

← 返回经典研读 人工智能 · 相关论文精读

← 经典研读 · 六大方向 36 本经典