导读：Sutton 与 Barto 第 6 章的 TD 学习是 RL 的心脏：Q-learning 的 off-policy 收敛、SARSA 的 on-policy 稳健，取舍在于跟谁学。
TD 学习与采样贝尔曼
TD 误差等于奖励加折扣的后续估计减去当前估计，更新即朝误差方向修正：用估计的后续价值自举——无需等回合结束（蒙特卡洛的痛点），但有偏。
SARSA 更新用实际执行的下一动作（on-policy，评估自己正在用的策略）；Q-learning 用下一状态的最大动作（off-policy，直接学最优）。
收敛条件
Q-learning 收敛要求学习率满足 Robbins-Monro 条件（和学习发散、平方和收敛），且所有状态动作对被无限访问（充分探索）。实践中 epsilon-greedy 的衰减太慢或太快都会翻车。
off-policy 的最大偏差（max 算子过估计）：Double Q-learning 用两个独立估计互相选、互相评，消除过估计——DQN 系列的 Double DQN 直接继承。
与深度网络的组合
DQN 三件套：经验回放（打散相关性）、目标网络（稳定自举目标）、奖励裁剪。泛化到参数化价值函数后收敛性理论失效——深度 RL 的不稳定不是玄学，是自举、函数近似、off-policy 三者叠加的死亡三角。
常见误区
- 探索不足导致 Q 表某些格子从未更新。
- 把 on-policy 方法用于回放池数据（SARSA 不能用旧经验回放）。
吃透自检
- 能写出 SARSA 与 Q-learning 的更新式并指出差异
- 能陈述 Q-learning 收敛的两条条件
- 能解释死亡三角与 Double Q 的修复