第 9–13 章 · 函数近似与策略梯度

表格装不下真实世界（状态天文数字），价值必须用函数近似（神经网络）；有时干脆不学价值、直接对策略做梯度上升。这一节是现代深度 RL（DQN 到 PPO）的理论地盘。

价值的函数近似与半梯度方法

$\hat v(s, \theta) \approx v_\pi(s)$，目标 $\min\sum(v_\pi(s) - \hat v(s,\theta))^2$，随机梯度：

危险点：TD 目标 $R + \gamma\hat v(s', \theta)$ 本身依赖 $\theta$——"半梯度"方法忽略这部分（真梯度要含 $\nabla\hat v(s')$），一般情形仍收敛（表格/线性），非线性+自举可能发散（致命三要素：函数近似 + 自举 + off-policy 训练——发散的经典组合）。

深度 Q 网络（DQN）的工程配方

Q-learning + 深度网络的两大稳定器：经验回放（打破样本相关性、复用数据）+ 目标网络（定期冻结的网络算 TD 目标，防"追自己影子"）。附加技巧（奖励裁剪、帧堆叠）与后续改进（Double DQN 解高估、Dueling 分解价值与优势、优先回放按 TD 误差采样）构成深度 RL 的标准工具箱。

策略梯度：直接学策略

参数化策略 $\pi(a|s, \theta)$，目标 $J(\theta) = v_{\pi_\theta}(s_0)$。策略梯度定理：

对数策略的梯度 × 价值——好动作的对数概率往上推。REINFORCE = 蒙特卡洛采样该式（高方差，用基线 $b(s)$ 降方差：$q - b$，最优基线与均值价值相关）。Actor-Critic：actor 学策略、critic 学价值（提供低方差的目标）——A2C/A3C 的骨架。 连续动作与约束下的进步路线：TRPO（信赖域限制步长）、PPO（裁剪重要性比 $\mathrm{clip}(\rho, 1-\epsilon, 1+\epsilon)$ 稳住更新）成为工业默认；DDPG/SAC 把 actor-critic 延伸到连续控制（SAC 加最大熵正则促进探索与鲁棒）。

老师的提醒

• 深度 RL 调不动的第一反应：检查回放池大小、目标网络更新频率、奖励尺度——三件套的问题率远高于算法选择。
• 策略梯度的心智图像：提高"带来高回报的动作"的对数概率，用优势当权重——PPO 的 clip 只是把这步的步幅限住。

自检

• 致命三要素是哪三个、为什么会发散？
• 策略梯度定理的公式与基线的作用？
• DQN 的两大稳定器分别解决什么问题？

更深一层：函数近似的"致命三要素"

价值函数近似（神经网络替代表格）的引入有一个致命组合需要背下来：函数近似 + 自举（TD）+ off-policy 训练——三要素凑齐可能发散（Baird 反例是教科书级证明）。DQN 的两大稳定器（经验回放打破相关性 + 目标网络冻结 TD 目标）正是拆这个组合的工程手段。这条三要素警告值得刻在 RL 工程师的显示器上：不是神经网络与 RL 不兼容，是三个特定成分的组合危险——拆开任何一个（用 MC 替代自举、用 on-policy 替代 off-policy、或加稳定器）就安全。

推导细读：策略梯度定理的"免费梯度"

策略梯度定理 $\nabla_\theta J = E_\pi[\nabla_\theta\ln\pi(a|s,\theta)\,q_\pi(s,a)]$ 的推导关键值得看懂：对数策略的梯度不含 $\nabla p(s'|s,a)$——转移概率不受策略参数直接影响，所以梯度不需要模型。"对数概率的梯度 × 价值"这个形式让 RL 可以无模型地做策略优化——好动作的对数概率往上推、坏动作往下压。REINFORCE（蒙特卡洛采样该式）+ 基线（$q - b$，方差缩减）+ Actor-Critic（critic 提供低方差目标）是策略梯度的三级火箭，PPO 的 clip（$\mathrm{clip}(\rho, 1-\epsilon, 1+\epsilon)$）只是把这步的步幅限住。

在真实世界里：深度 RL 的"工程配方"

深度 RL 的工程配方清单：DQN 家族（Double/Dueling/优先回放——Q 学习的深度化）、PPO（策略梯度的工业默认——裁剪稳定 + 易调）、SAC（最大熵正则——连续控制的鲁棒探索）。调不动的第一反应：检查回放池大小、目标网络更新频率、奖励尺度——三件套的问题率远高于算法选择。RL 工程的真相是"稳定化技巧占八成、算法选择占两成"——这也是 Sutton 书后面所有章节的诚实注脚。

专题深入：函数近似与"致命三角"完整版

第九-十三章的理论高峰有二。致命三角（deadly triad）：函数近似 + bootstrap + off-policy 同时在场时训练可能发散—— Baird 反例是教科书级证伪（六个状态的反例让 TD(0) + 线性近似 + off-policy 权重发散）——DQN 的稳定化（经验回放 + 目标网络）正是对三角的三重拆解（回放打散相关性、目标网络固定 bootstrap 目标、双网络软化 off-policy 冲击）。梯度 TD 系列（TDC、GTD(λ)——按真梯度（MSPBE）更新保证 off-policy 线性情形收敛——理论补救的代价是方差与复杂度）。策略梯度定理（$\nabla J(\theta) = E[\nabla_\theta\ln\pi_\theta(a|s)q_\pi(s, a)]$——对数技巧让不可导的期望可导；REINFORCE 蒙特卡洛版纯采样实现）；Actor-Critic（critic 学价值降方差、actor 学策略——"评家 + 演员"分工是现代 RL 的标准体型）；基线与优势（减去 $v(s)$ 基线不改变期望、方差大降——优势函数 $A = Q - V$ 是 PPO/A2C 的核心记账）。

推导细读：深度 RL 的"三大稳定器与政策优化"完整版

深度时代的推导要点：DQN 的损失与目标网络（$L = E[(r + \gamma\max_{a'}Q_{\bar\theta}(s', a') - Q_\theta(s, a))^2]$——$\bar\theta$ 定期同步：bootstrap 目标被冻结，回放分布近似 i.i.d.）；策略梯度的三连改进（TRPO 的信任域约束（KL 散度限制单次更新幅度——保证单调改进）、PPO 的裁剪目标 $\min(r_tA_t, \mathrm{clip}(r_t, 1-\epsilon, 1+\epsilon)A_t)$——一阶近似替代二阶约束、实现简单——成为 RLHF 的引擎）；连续控制的确定性策略（DPG/DDPG：$\nabla J = E[\nabla_a Q(s, a)|_{a=\mu(s)}\nabla_\theta\mu(\theta)]$——"策略确定、价值可导"的组合；TD3/SAC 的双 Q 与熵正则续命）；奖励塑形与稀疏奖励（势函数塑形保最优、好奇心内在奖励、Hindsight 重标注——稀疏奖励的三大工程对策）。"深度 RL = 表格思想的函数近似化 + 稳定化工程"——十三读成"九-十二章的工程续集"而非新学科。

工程案例细节：现代 RL 的产业出口工程版

九-十三章的工程出口：RLHF 与大模型对齐（奖励模型 + PPO/DPO 微调——ChatGPT 之后 RL 的最大产业事件：策略 = 语言模型、动作 = token、奖励 = 人类偏好打分；DPO 用闭式解绕过奖励模型——"对齐即 RL"已成为 LLM 工业的标准工序）；游戏与竞技（AlphaGo 的 MCTS + 策略价值网络、OpenAI Five/Dota——"自我对弈 + 函数近似"的巅峰演示）；机器人操纵（演示引导（DAgger/模仿学习起步）+ RL 精调——sim-to-real 的域随机化技术；工业分拣机器人的 RL 部署案例）；推荐系统的长期价值（强化学习排序优化用户 LTV——短期点击 vs 长期留存的权衡；快手/字节的相关团队实践公开过）；芯片与科学（AlphaDev 发现更快的排序指令、核聚变等离子体控制（DeepMind 的 TCV 托卡马克 RL 控制器——"RL 控制复杂物理系统"的新大陆）；能源调度（数据中心冷却节电 40% 的 DeepMind 案例）。RL 的 2026 姿态：游戏冠军已成历史、对齐与控制是主战场。