人工智能从零学起 · 全书 5 节学习笔记

强化学习：一种导论（Sutton & Barto 第二版）

强化学习（第二版） · Reinforcement Learning: An Introduction

这本书在讲什么（给完全没接触过的你）

没有人教小孩下棋的「最优值函数公式」——他们只是下、输、赢、调整。强化学习研究的就是这种「从试错中学习」：一个智能体在环境里尝试动作，靠奖励信号慢慢学会该怎么做。Sutton 与 Barto 是这个领域的两位奠基人，这本书是这个领域公认的圣经。

2018 年第二版出版时，强化学习刚因 AlphaGo 达到舆论顶峰；这本书恰好把所有基础概念（MDP、动态规划、时序差分、策略梯度）系统整理。它被全球数百门课程采用，两位作者也因此获得 2024 年图灵奖。读完它，你就拥有了与所有 RL 论文对话的语言。

需要：①概率论基础（期望、条件期望）；②线性代数入门（向量、梯度）；③Python 编程（跑小实验必需）。不需要先学机器学习监督方法——这本书自成一体的公理体系（MDP）从零开始。唯一的真 prerequisite：愿意写代码做实验，RL 是实践的科学。

下面是全书的逐节笔记目录。每一节都是独立一页：先讲这节解决什么问题，再把核心概念和公式一条条拆开讲，配上原文要点（公式与出处定位）、例题演算和自检问题。建议顺序读，读完一节再点下一节；卡住就回导览页看「新手最容易卡住的三个地方」。

逐节笔记全书 5 节 · 每节一页

避坑指南新手卡点

卡点一：贝尔曼方程看不懂在说什么

用「迷路的 GPS」类比：价值 = 从这里出发预计还能拿多少奖励。贝尔曼方程说「这里的价值 = 走一步的奖励 + 下一处的价值（打折）」——它是递归定义，也是递归计算。手算一个三格迷宫的贝尔曼方程，理解立刻落地。

卡点二：epsilon-greedy 的 epsilon 怎么定

探索-利用困境没有万能答案。实用法则：训练早期高探索（0.2→0.05 衰减），看「训练曲线的稳定度」调整。永远记住 Q-learning 收敛的前提是每个格子被访问无穷次——探索不足是 RL 不收敛的第一大原因。

卡点三：深度 RL 训练崩了

死亡三角（自举、函数近似、off-policy）的不稳定性是研究前沿而非个人错误。对策：检查目标网络更新频率、回放池大小、奖励量级，并对照本站 AI 方向的训练自检清单。

学完这本书，你将拥有：强化学习的完整理论框架（MDP 到策略梯度）、动手实现 Q-learning 到 actor-critic 全家族的能力、以及「把序贯决策问题形式化为 MDP」的分析框架。它是通往游戏 AI、机器人控制、大模型对齐（RLHF）的共同起点。