把「环境」写进数学 — 马尔可夫决策过程
这一章讲三件事: 为什么 RL 必须先变成数学才能被计算; 六个部件怎么拼成一个马尔可夫决策过程(后面全书写作 MDP); 「只看现在、不看历史」这一条性质为什么是整个框架能运转的前提。 读完你会拿到全书所有方法共享的那块地基——第 04 章的价值函数、 第 06 章起的每个方法,都定义在这六件套上。
1. 这一章讲什么
第 01 章说 RL 是「试错 + 事后分数」。「试错」怎么试、「分数」怎么记, 总得有一套精确的语言,否则没法写算法(按步骤执行的求解流程)。原书第 3 章开篇先列 RL 与其他学习范式的四条差别1:
- 没有监督者——没人告诉智能体下一步最好做什么;
- 反馈延迟——分数可能隔很久才到,而凭一时冲动乱动可能闯祸;
- 决策在时间上前后相连——这一步的选择影响后面所有局面;
- 反馈取决于你自己——同一动作在不同情境、不同环境下得分不同。
这四条决定了:描述 RL 问题的数学必须能装下「时间」「不确定」「自己的责任」。 MDP 就是这套语言。
2. 顶层全景:六件套拼出一个可计算的世界
┌────────────────────────────────────────────┐
│ MDP = ( S , A , P , r , γ , s₀ ) │
└────────────────────────────────────────────┘
S:有哪些局面 A:能做哪些动作 P:做了之后世界怎么变(带概率)
r:每步给多少分 γ:未来的分打几折 s₀:从哪个局面开始
t 时刻:处在 sₜ ──选动作 aₜ──► 世界按 P 掷骰子 ──► 落进 sₜ₊₁
│
▼
环境发奖 rₜ
图说:智能体管「选动作」,环境管「变成什么局面、发多少分」,每一拍循环一次。
图说:这本书后面每个算法,都是在回答同一个问题——在这个循环里,动作该怎么选? 选法有个名字,叫策略(policy):在什么局面做什么动作的一套规则2。
本章的主走查是一条 3 格走廊,下面每个部件都在它上面落一个具体的数:
[坑 D]◄────[A 起点]────►[B]────►[C 宝箱 +10]
−10,踢回 A 唯一动作:「前进」
前进的成功率 0.9;打滑 0.1,掉进坑 D(−10,被踢回 A)
(这条走廊与全部数字是为演示编的,不是书里的例子;
部件的定义全部照书,数字只是让定义看得见。)
3. 核心原理
3.1 六件套,一件一件在走廊上落数
书里给出的 MDP 由六个元素构成3,逐个对照走廊:
| 部件 | 书里的定义 | 走廊上的取值 |
|---|---|---|
| S 状态集 | 所有可能局面的集合,有限或无限 | {A, B, C, D} |
| A 动作集 | 所有可能动作的集合 | {前进} |
| P 转移概率 | 在 sₜ 做动作 aₜ 后落到 sₜ₊₁ 的概率 | P(B|A,前进)=0.9,P(D|A,前进)=0.1 |
| r 奖励函数 | 在 sₜ 做动作 aₜ 得到的分数,可确定可随机 | 进 B 得 0;掉 D 得 −10;进 C 得 +10 |
| γ 折扣因子 | 一个小于 1 的数,压低远期奖励,防总和无穷 | 0.9 |
| s₀ 初始状态 | 起点局面,通常按某个分布(各种可能各占多少机会)抽 | A |
书里注明 MDP 是无限期、带折扣的过程——任务可以一直走下去, 靠 γ 保证累计分数不爆炸3。
3.2 马尔可夫性质:只看现在,不看历史
整座大厦的地基是一条性质,书里表述为:动作对状态的作用,只取决于这个状态本身, 与它此前怎么演化而来无 关——不带入任何对过去的记忆(存下的往事), 于是只用当前状态里的信息,就能对未来的状态做推断4。
在走廊上验证:「在 B 处前进会以 0.9 到 C」—— 不管你是 A 一步走到 B 的,还是掉坑被踢回来又走到 B 的,下一个局面的概率一模一样。 历史不进公式。这就是为什么「状态」必须是充分的:如果走廊里还有一扇只有 第偶数次经过才开的暗门,「B」这个状态就不够用了——得把「第几次经过」塞进状态里, 把性质修补回来。
3.3 策略的两种性格
策略是「局面 → 动作」的规则,输出也可以是一套概率分布(各动作各占多少机会);书里沿两个维度给它分类2:
| 维度 | 取值 | 意思 |
|---|---|---|
| 时间结构 | 稳定(stationary) | 规则不随时间变,适合无限期任务 |
| 非稳定(nonstationary) | 规则带时间下标,适合有限步任务 | |
| 输出形式 | 确定性(同一局面永远给同一个动作) | 一个状态只对应一个动作 |
| 随机 | 一个状态对应一套概率分布(各动作各占多少机会) |
走廊上:确定性策略写出来是「A→前进, B→前进」; 随机策略写出来是「在 A:前进 0.95,原地装死 0.05」。 书里后续的算法两种都用——随机策略不是没主见:第 05 章的熵、 第 09 章的策略梯度,全都建在「动作带概率」之上;第 11 章的多智能体里, 随机策略甚至是破除两个智能体「想到一块去」死锁的工具。
3.4 智能体的三种构造:要不要给世界建模
书里把智能体分成三型5,这个选择决定了后面一半的算法谱系:
- 无模型(model-free): 不给世界建模型,只靠两样东西之一—— 一张「每个状态(或状态-动作)值多少分」的价值函数估计表, 或者策略本身。离散情形学 Q 函数,连续情形价值与策略一起学;
- 有模型(model-based): 先把环境本身学出来(转移和奖励的估计), 再拿模型做规划;
- 混合: 两者都上。书里指出,真实问题多半高维(要量的事情一多,坐标轴就得很多根)甚至连续, 此时深度神经网络正好派上用场:它吃高维数据,还能边学边增补样本继续训5。
走廊上对照:无模型的智能体只能 一次次在走廊里走——摔倒、记分、再走; 有模型的智能体会先在脑子里搭一条「内部走廊」,在脑内排练 「前进十次,大概能捡几个宝箱、掉几个坑」,排练完才下地。 下地便宜还是排练便宜,就是无模型与有模型的分水岭。
3.5 奖励、回报与折扣:分数的时间换算
书里把三个词分得清楚6:
- 奖励(reward): 单步的分数,表明这一步的质量;
- 回报(return): 从现在到任务结束的整串分数的总和,衡量从头到尾整串决策的好坏;
- 价值函数: 按某个策略行动时,回报的期望——第 04 章的主角。
折扣因子管的就是「回报」怎么算。书里分了两种任务7:
- 连续/长跑任务: γ<1,越远的分数打折越狠——远期奖励的权重被压低, 累计和保持有限,智能体才能在有限时间里逼近目标;
- 情节任务: 任务有终点(一盘棋、一把走廊),γ=1 即可,不用打折。
走廊上算一笔(γ=0.9):假设从 A 出发两步到 C,一路无事故,回报是 0 + 0.9×0 + 0.9²×10 = 8.1,而 不是 10——两步之后的十块钱,今天只值八块一;若是十步之外,就只剩三块五(0.9¹⁰≈0.35)。同一条走廊如果设成「走到 C 任务结束」,就不用打折, C 的 +10 全额计入。
4. 作者的判断与证据
- 书里给证据的: 四条范式差别、六件套、马尔可夫性质的表述、两种任务对折扣的 不同取法,都是书里的原文内容1347。
- 书里对模型选择的判断是务实的: 它没有说有模型/无模型谁对, 而是说真实世界高维、连续,深度网络既能吃高维数据、又能增量训练—— 这为「深度」RL 的必要性留了位置5。
- 作者没展开的: 马尔可夫性在现实里经常被违反(部分可观测),书里只在 第 6 章的算法表格里捎带了一句 POMDP(部分可观测 MDP)8,没有展开处理。
5. 边界与局限
- MDP 假设状态是充分的。 真实环境常常做不到:自动驾驶里传感器看不到隔壁车道的 意图,「状态」只能是观测的拼盘——马尔可夫性名存实亡。书里没有正面处理这个缺口。
- 奖励函数是人定的。 走廊里「打滑 −10、每步 0」是我们编的;真实任务里, 这张「分数表」怎么设计本身就是难题(书里在第 7 章承认自动驾驶的奖励设计 「仍是非常开放的问题」9)。给错分数,智能体会忠实地学出你没想到的行为。
- 六件套是形式化,不是求解。 状态空间(所有可能局面的全体)一大,「把表填满」立刻不可行—— 可行性问题是第 04 章(价值函数)和第 07 章(表格装不下)的主题。
- 书里附录给了两个能手工解出贝尔曼方程的玩具(计量经济、量子控制)10, 恰恰反衬:能直接用公式求解的 MDP 少到要当珍品收集。
6. 可带走的
- MDP 六件套 (S, A, P, r, γ, s₀) 是一切 RL 算法(按步骤执行的求解流程)的公共语言;读到任何新算法, 先问它在动哪一件;
- 马尔可夫性 = 下一步只看现在:它让「历史压进状态」成为处理记忆问题的标准手法; 状态设计不充分,后面全盘皆错;
- 策略有两条性格轴:随不随时间变 × 输出动作还是输出概率;随机策略不是缺点, 是探索和多样性的来源;
- 智能体三型:无模型(下地试)、有模型(脑内排练)、混合; 排练便宜就走有模型,排练不起就走无模型;
- 三个「分」要分清:奖励是一步,回报是全程总和,价值是回报的期望;
- 折扣因子是时间汇率:γ=0.9 时,十步之后的 10 分今天只值约 3.5 分; 有终点的任务 γ=1,长跑任务 γ<1;
- 奖励函数是人写进去的价值判断——它写歪,学习只会更忠实地歪;
- 遇到「状态不充分」的真实任务,记住书里的缺口:部分可观测问题本书只点了个名。
7. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| RL 四条范式差别 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:31(搜「no supervisor」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:36(搜「delayed」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:46(搜「uncertainty」) |
| MDP 六元素 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:90(搜「set of all states」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:110(搜「discount factor」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:115(搜「initial state」) |
| 无限期带折扣过程 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:119(搜「infinite horizon」) |
| 马尔可夫性质 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:126(搜「prior history」) |
| 策略:稳定/非稳定 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:149(搜「Stationary」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:157(搜「Nonstationary」) |
| 策略:确定性/随机 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:170(搜「Deterministic」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:178(搜「Stochastic」) |
| 智能体三型 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:194(搜「Model-free」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:212(搜「Model-based」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:221(搜「high-dimensional」) |
| 奖励/回报/价值函数三分 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:245(搜「Rewards:」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:252(搜「Return:」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:259(搜「Value function:」) |
| 折扣与两种任务 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:284(搜「discount factor」) · text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:289(搜「Episodic tasks」) |
| 附录:解析可解的玩具 | 3.1 A Mathematical Model of DRL | text/07-ch03-01-3-1-a-mathematical-model-of-drl.txt:1138(搜「analytically solvable」) |