第 5–6 章 · 蒙特卡洛与时序差分：从整回合到单步

模型未知时，从经验中学习价值。两大路线：蒙特卡洛（MC）等整回合结束用真回报更新；TD 学完一步就用"即时奖励 + 现有估计"自举更新。TD 是 RL 的心脏，Q-learning 是它的皇冠。

蒙特卡洛：用平均回报估计价值

回合制任务，访问状态 $s$ 后等到回合结束拿到实际回报 $G_t$，增量平均：

• 首次访问 vs 每次访问：同状态多访时只计第一次或全计（都收敛）；
• 无偏但高方差：$G_t$ 是真值无偏，但依赖整条随机轨迹（方差大、要等回合结束）；
• 在线 vs 离策略：on-policy 边玩边学当前策略；off-policy 用行为策略采样、学目标策略（重要性采样比 $\rho = \prod\frac{\pi(a_t|s_t)}{b(a_t|s_t)}$ 校正——方差是其代价）。

TD(0)：自举的单步学习

TD 误差 $\delta_t = R + \gamma V(s') - V(s)$ 是"预测的惊喜"。TD：有偏（用了估计值 $V(s')$）但低方差、每步更新、在线、无需回合终止。MC 与 TD 谁对：对真价值函数 TD(0) 收敛到 $v_\pi$（表格情形两者都对）；有限样本下 TD 常更快（利用马尔可夫性）。n 步回报与 $\lambda$-回报统一两者： eligibility traces（资格迹）是它的优雅实现。

SARSA 与 Q-learning：控制问题

学 $q(s,a)$ 后贪心改进。两个经典：

最大化的偏差问题：Q-learning 的 max 会高估（噪声下 max 的期望 > 期望的 max）——Double Q-learning 用两套 Q 互相选动作互评，消除高估（DQN 的 double 变体的源头）。收敛条件：所有 $(s,a)$ 无限访问（GLIE）+ 步长满足 Robbins-Monro。

• SARSA（on-policy）：$Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma Q(s', a') - Q(s,a)]$（用实际执行的下一动作更新）——学到的是"当前（含探索）策略"的价值；
• Q-learning（off-policy）：$Q(s,a) \leftarrow Q + \alpha[r + \gamma\max_{a'}Q(s', a') - Q]$——直接逼近 $q_*$，与探索策略无关（行为策略只需覆盖所有动作）。

老师的提醒

• MC vs TD 的选择直觉：回合短且要无偏（赌博模拟）→ MC；回合长或连续（控制）→ TD。
• 实现 Q-learning 的两个 bug 高发区：$\varepsilon$-衰减策略别忘（不衰减则永不收敛到贪心）、更新目标用"下一步实际动作"（SARSA）还是"max"（Q-learning）别混写。

自检

• TD 误差的定义与 TD(0) 更新式。
• SARSA 与 Q-learning 的更新目标差别及各自收敛对象？
• Q-learning 高估从哪来、Double Q 怎么修？

更深一层：MC 与 TD 的分工——"等整回合"还是"学单步"

蒙特卡洛（MC）与时序差分（TD）的分工值得刻在脑里：MC 等整回合结束用真回报更新（无偏但高方差——整条随机轨迹的噪声全进来）；TD 学完一步就用"即时奖励 + 现有估计"自举更新（有偏——用了估计值 $V(s')$——但低方差、每步更新、在线、无需回合终止）。MC vs TD 的取舍 = 无偏高方差 vs 有偏低方差——这是统计学习里偏差-方差权衡在 RL 里的化身。n 步回报与 $\lambda$-回报（eligibility traces）统一两者——资格迹是"记住最近的访问并按时间衰减归功"的优雅机制。

悬崖行走实验（SARSA 学安全路径 vs Q-learning 学最优路径）把两法的性格画出来：on-policy 考虑探索的风险、off-policy 不怕悬崖但真跑会摔——SARSA 的"稳健"与 Q-learning 的"激进"在这里有可视化的对照。

推导细读：Q-learning 的高估问题与 Double 修正

Q-learning 的 max 会高估（噪声下 max 的期望 > 期望的 max）——最大化偏差是 off-policy 学习的系统性陷阱。Double Q-learning 用两套 Q 互相选动作互评（$Q_1$ 选、$Q_2$ 评），消除高估——这个修正是 DQN 的 Double 变体的源头。高估的深层原因：$\max$ 操作符的 Jensen 型偏差——"选最优"这个动作本身就引入系统偏差。理解这一点，RL 的"乐观偏差"问题（off-policy + 函数近似 + 自举）就有了完整的诊断框架。

在真实世界里：TD 学习的"工程形态"

TD 学习的工程形态：时序差分（TD-Gammon 的西洋双陆棋——TD 学习的第一个世界级胜利）、经验回放（DQN 的核心：打破样本相关性）、Actor-Critic（critic 用 TD 学价值、actor 用策略梯度学策略——A2C/PPO 的骨架）。TD 是 RL 的心脏，因为它允许"在线、单步、无模型"——这三个属性合在一起，正是真实机器人与游戏 AI 所需要的。

专题深入：MC 与 TD 的"样本哲学"完整版

第五-六章的对照是 RL 方法论的分水岭：蒙特卡洛（整回合回报 $G_t$ 作为 $v(s)$ 的样本——无偏但高方差（未来随机性全部累计）；必须等回合结束（continuing 任务不可用））；时序差分 TD(0)（bootstrapping：$v(s) \leftarrow v(s) + \alpha[r + \gamma v(s') - v(s)]$——有偏（依赖当前估计）但低方差、单步在线更新——"从猜测学猜测"是 TD 的灵魂也是它的原罪）；偏差-方差的折中谱系（n 步 TD：n=1 是 TD、n=∞ 是 MC——中间 n 常常最优；λ-回报的几何加权与资格迹 TD(λ)：前向视图（λ-回报）与后向视图（资格迹在线更新）的等价性是第六章的技术顶峰）。SARSA vs Q-learning 的语义分野：SARSA 用行为策略的下一动作（on-policy——学到"我现在这套探索策略"的价值，含探索代价）；Q-learning 用 max（off-policy——学"最优策略"的价值，探索噪声不进账）；悬崖行走的经典实验显示 SARSA 保守避崖、Q-learning 学激进路线——on/off-policy 选择 = 安全与最优的取舍。

推导细读：Q-learning 的"最大算子魔法"完整版

第六章的推导核心：Q-learning 更新$Q(s, a) \leftarrow Q(s, a) + \alpha[r + \gamma\max_{a'}Q(s', a') - Q(s, a)]$——目标用了 $\max$（贝尔曼最优算子）而非行为策略的期望—— Watkins 定理：每对 (s, a) 无限次访问 + 学习率 Robbins-Monro 条件（$\sum\alpha_t = \infty$、$\sum\alpha_t^2 < \infty$）⟹ Q 收敛到 Q*（概率 1）——off-policy 收敛的定理保证。期望 Sarsa（用 $E[A']$ 代替 max——方差更低、常常更稳）；最大化的偏差问题（max 对噪声估计取正偏——Double Q-learning 用两套独立估计解耦选择与评估——这个思想在 DQN 里升级为 Double DQN，"过估"在深度 RL 时代成为主修课）；学习率的工程法（固定 α 破坏 RM 条件但实践常用——非平稳环境的取舍）。Expected/Double/SARSA(λ) 的组合矩阵是表格 RL 的完整武器架。

工程案例细节：无模型算法的工程出口工程版

五-六章的工程出口：游戏 AI 的表格起点（井字棋 TD 玩家（Sutton 的经典例子——RL 历史上第一个自我对弈学习系统）；二十一点的 MC 策略——教材与面试标准题）；推荐与运营的 bandit-TD 混合（短会话用 bandit、长期价值用 TD——"探索配额 + 长期价值估计"的双层架构）；电梯/交通信号控制（状态离散化 + Q-learning——交通信号自适应的经典应用场景，网格化状态 + 平均等待奖励）；机器人技能的表格时代（简单抓取的状态离散化 TD——函数近似时代之前的可行性边界）；离线评估与安全（重要性采样评估新策略——"先离线评估再上线"是工业 RL 的安全绳）。表格方法的岗位边界很清楚：状态可枚举（<10⁶）+ 数据在线——超过就交给函数近似（下一章）。