导读：Sutton 与 Barto 第 3 章给出 RL 的公理系统：状态、动作、奖励、转移与折扣——贝尔曼方程把长期回报折叠成递归。
MDP 五要素与回报
折扣回报 $G_t = \sum \gamma^k r_{t+k+1}$，折扣率在零一之间保证无限和收敛并编码未来折扣。
价值函数两件套：状态价值与动作价值。贝尔曼期望方程把当前价值写成当前奖励加折扣后续价值——递归分解是 RL 的一切计算的基础。
最优性方程
贝尔曼最优方程取最大动作：压缩映射（折扣小于一）保证唯一解——价值迭代、策略迭代都在解这组方程。
策略改进定理：对任意策略做贪婪化不劣于原策略——策略迭代「评估加改进」循环收敛到最优的理论担保。
与动态规划的接口
模型已知时动态规划足矣（策略迭代收敛快）；模型未知则转向采样学习（MC 与 TD），后续文章的 Q-learning 就是在采样上逼近贝尔曼算子。奖励设计的工程性（稀疏奖励、奖励塑形）是最容易被低估的环节。
常见误区
- 折扣率取一且奖励有正项导致价值发散。
- 把状态设计成马尔可夫性不足（缺关键信息）。
吃透自检
- 能写出四组贝尔曼方程并解释各自用途
- 能证明策略改进定理
- 能为一个具体问题定义合法的 MDP