第 3 章 · 马尔可夫决策过程：RL 的公理系统

MDP 把"智能体-环境交互"形式化成五元组：状态、动作、转移、奖励、折扣。价值函数与贝尔曼方程是本章的双主角——之后所有算法都是"解贝尔曼方程"的不同姿势。

MDP 的形式化

$(S, A, P, R, \gamma)$：转移 $p(s', r|s, a)$（马尔可夫性：未来只依赖当前状态）。回报 $G_t = \sum_k\gamma^k R_{t+k+1}$——折扣 $\gamma \in [0,1)$ 兼顾数学收敛（无限和有限值）与"远期打折"的偏好。 两类价值函数：

最优价值 $v_*, q_*$（最优策略下的价值）；最优策略的存在性保证（$\gamma < 1$ 或吸收态下至少存在一个确定性最优策略）。

贝尔曼方程：价值的自洽系统

"当前价值 = 即时奖励 + 折扣的下一状态价值"——价值的递归定义。贝尔曼最优方程：

max 替代平均——非线性了，但解存在且唯一（压缩映射：$\gamma$-收缩保证不动点唯一，迭代必收敛）。价值迭代与策略迭代就是这两个方程的解算器（下一章）。

老师的提醒

• 贝尔曼方程要能"读出声音"：我的价值 = 我可能的每个动作 ×（即时奖励 + 折扣的未来价值），按策略加权平均——读熟了后面推导全是抄写。
• $\gamma$ 的物理直觉：有效视野 $\frac{1}{1-\gamma}$ 步（$\gamma=0.9$ 约 10 步）——调 $\gamma$ 时想想你要看多远。

自检

• 写出 $v_\pi$ 与 $q_\pi$ 的贝尔曼方程及两者关系（$v = \sum\pi q$）。
• 压缩映射论证保证什么？
• 折扣因子的双重作用？

更深一层：贝尔曼方程是"价值的自洽方程"

贝尔曼方程 $v_\pi(s) = \sum_a\pi(a|s)\sum_{s',r}p(s',r|s,a)[r + \gamma v_\pi(s')]$ 的深层身份是自洽方程：价值函数必须满足"当前价值 = 即时奖励 + 折扣的未来价值"的递归一致性。这个自洽性的数学身份是压缩映射的不动点（$\gamma$-收缩保证唯一不动点 + 迭代必收敛）——价值迭代与策略迭代就是不动点迭代的两款算法。理解贝尔曼方程的关键不是记住公式，而是认出它是马尔可夫决策过程的"价值场方程"——就像电动力学的麦克斯韦方程是场的自洽方程，贝尔曼方程是价值的自洽方程。

折扣因子 $\gamma$ 的双重角色（数学收敛 + 远期打折偏好）与"有效视野 $\frac{1}{1-\gamma}$ 步"（$\gamma = 0.9$ 约 10 步、$\gamma = 0.99$ 约 100 步）的物理直觉值得配卡——调 $\gamma$ 时想想你要看多远。

推导细读：MDP 的"马尔可夫性"是建模的第一纪律

马尔可夫性（未来只依赖当前状态）是 MDP 的公理，也是建模时的第一纪律：状态必须包含"决策所需的全部历史信息"。状态不足（部分可观测）时出路两条：扩充状态（把相关历史塞进状态）或上 POMDP（部分可观测 MDP——信念状态）。"状态包含什么"是 RL 建模的核心设计决策——状态太粗（信息不足）或太细（维度灾难）都会让学习失败。机器人控制的"状态"该包含关节位置+速度+目标，但不该包含昨天的天气——状态工程是 RL 应用的手艺核心。

在真实世界里：MDP 的"通用问题语言"

MDP 作为通用问题语言的覆盖范围：运筹学（库存管理、排程）、控制工程（最优控制的离散化）、博弈论（马尔可夫博弈）、推荐系统（用户状态的马尔可夫转移）。只要你能写出"状态-动作-转移-奖励"四元组，RL 的全部工具箱就对你开放——MDP 是序贯决策问题的"通用数据接口"。

专题深入：贝尔曼方程的"四表记账"完整版

第三章 MDP 的全部内容可压缩为四张贝尔曼表的推导与互推：价值函数 $v_\pi(s) = E_\pi[G_t|S_t = s]$ 与动作价值函数 $q_\pi(s, a) = E_\pi[G_t|S_t = s, A_t = a]$（v 是"住在这栋楼"的期望、q 是"住这栋楼且先选这个门"——$v_\pi(s) = \sum_a \pi(a|s)q_\pi(s, a)$）；贝尔曼期望方程（$v_\pi(s) = \sum_a \pi(a|s)\sum_{s', r}p(s', r|s, a)[r + \gamma v_\pi(s')]$——一步展开的自洽条件：策略下的价值必然满足）；贝尔曼最优方程（$\max$ 版本：$v_*(s) = \max_a\sum_{s', r}p(s', r|s, a)[r + \gamma v_*(s')]$——非线性（max）但单调压缩 ⟹ 唯一不动点、可迭代逼近——价值迭代的存在性证明就是压缩映射定理）。最优策略的存在性（γ < 1 或有终局时存在至少一个确定性最优策略——**"贪婪于 v* 即最优策略"是整个 RL 可行性的定理基石**）。

推导细读：MDP 公理系统的"工程语义"完整版

MDP 三件套的工程语义值得翻译：马尔可夫性（当前状态包含全部历史相关信息——状态设计的质量决定这条公理是否近似成立：游戏像素原始帧不马尔可夫（速度信息缺失），帧堆叠/atari 的 4 帧堆叠是在补马尔可夫性）；折扣 γ 的调度学（γ=0.99 vs 0.999 的有效视野 $\frac{1}{1-\gamma}$：100 步 vs 1000 步——"视野与方差"的汇率；奖励尺度归一化与 γ 联动调）；奖励函数的设计伦理（奖励黑客案例：海岸赛船游戏刷分环形跑、机械手抓球用"不放下"骗奖励——"Goodhart 定律：指标成为目标就不再是好指标"在 RL 的具象化）；episodic 化技巧（时间截断 + bootstrap——无限任务有限化）。POMDP 与信息状态（ belief 状态、循环策略——现实系统全是 POMDP，MDP 是理想化）。价值迭代/策略迭代（第四章预告）与第 3 章公理的关系：公理系统 → 方程 → 迭代算法的三级火箭。

工程案例细节：MDP 建模的工程出口工程版

第三章的工程出口：推荐系统的 MDP 化（状态 = 用户画像 + 最近交互、动作 = 候选池、奖励 = 长期留存——"短期 CTR 优化伤害长期留存"的问题只有 MDP 语言能表达）；机器人与自动驾驶的决策层（状态格点化/特征化 + 奖塑形（potential-based shaping 保证不改变最优策略——塑形奖励的理论安全版））；医疗时序决策（脓毒症治疗的 MDP 建模：状态 = 生命体征离散化、动作 = 补液/升压药——离线 RL 的安全评估（importance sampling 界）是门槛）；库存与供应链（多周期库存的 MDP：状态 = 库存水平、动作 = 订货量——报童问题的多期推广）；游戏 AI 的回报设计（ Atari 的分数即奖励——"环境自带稠密奖励"是游戏成为 RL 沙盒的原因）。"先画 MDP 五元组再写代码"是 RL 工程的第一张图纸，奖励设计占图纸一半。