导读：Sutton 与 Barto 第 13 章转向策略梯度：直接对策略参数做梯度上升。REINFORCE 简单却方差巨大——驯服方差的四种手段是现代策略方法的全谱。
策略梯度定理
策略梯度等于对数策略梯度乘回报的期望：REINFORCE 整条轨迹采样后按此更新。无偏但方差随轨迹长度爆炸。
引入基线不改变期望（对数梯度与基线乘积期望为零）却大幅降方差——基线的最优选择就是价值函数，由此生出 actor-critic。
驯服方差的谱系
优势函数替代原始回报（减基线）；TD 误差作为优势的无偏估计（单步自举）；GAE 用 lambda 加权多步优势在偏差与方差之间插值——PPO 与 A2C 的标配。
off-policy 修正：重要性采样比率连乘（方差又炸）改为截断比率（PPO 的 clip 目标）：信任域思想的实用化。连续动作用高斯策略（重参数化技巧让梯度可回传）。
与价值方法的分工
策略梯度天然支持随机策略与连续动作、目标不可微也能处理（直接对期望回报求导）；价值方法样本效率高。AlphaGo 系（价值加策略加 MCTS 搜索）展示两者合流的最强形态。
常见误区
- 轨迹内所有时刻用同一个总回报且不减基线（方差居高）。
- 重要性比率忘截断，一条离群样本摧毁训练。
吃透自检
- 能推导策略梯度定理（含基线不变性）
- 能实现带 GAE 的 actor-critic 更新
- 能解释 PPO 截断的目标函数