只有一步的决策 — 赌博机、后悔值与置信上界
这一章讲三件事: 为什么要先把问题砍到只剩一步; 「我本可以更好」怎么变成一个能算的数;以及没试过的选项凭什么值得试。
它在全书链条里的位置:第二环,也是全书唯一一处「问题小到能算干净」的地方。 第 01 章把探索与利用这个两难摆了出来但没给解法,这一章给。 而这一章末尾那个式子,跨十七章之后会在 AlphaZero 决定往哪儿深想的那一行里原样回来。
顶层全景:一台三臂老虎机,跑六轮
这一章从头到尾只用一个例子。
你面前有三根拉杆。每根杆背后有一个固定的中奖水平 —— 但你不知道是多少。 你只能拉,拉完看到一个数,再决定下一次拉哪根。
这就是书里说的多臂赌博机:一排赌博机摆在那里,你每一步选一台去拉1。 书里的设定很干净:每根杆的奖励是从它自己那个固定的分布里随机抽出来的; 不同杆的分布不同,但同一根杆的分布不随时间变1。
三根杆的真实水平(玩家看不到):
杆 A ── 平均 0.2 杆 B ── 平均 0.5 杆 C ── 平均 0.9
▲
这才是你该一直拉的那根 ┘
你手上只有:每根杆拉过几次、拉出来的数平均是多少。
六轮之后要回答两个问题:
① 只挑「目前平均分最高」的那根,会发生什么?
② 给每根杆的平均分加上一项「我对它有多没把握」,又会发生什么?
图说:这就是本章的主走查。第 3 节给它加一把尺子(后悔值),
第 4 节走完 ①,第 5 节走完 ②。
(**0.2 / 0.5 / 0.9 这三个数是为演示编的**,不是书里的数值;
赌博机的设定和第 5 节那个公式是书里的。)
1. 为什么先讲这个玩具:它把矛盾单独拎了出来
这一节回答一个很自然的疑问:不是要学「怎么在环境里做一连串决定」吗,怎么先讲拉杆?
回头看第 01 章那个乒乓球:那里有画面、有一连串动作、有几百步之后才来的分数, 三件难事搅在一起。 想搞清楚其中任何一件,都会被另外两件干扰。
赌博机是把另外两件砍光之后剩下的东西:
| 第 01 章的乒乓球 | 这一章的赌博机 |
|---|---|
| 有画面,你得先看懂局面 | 没有局面。每一轮你面对的东西完全一样 |
| 这一步影响下一步身处的位置 | 不影响。拉完这根,下一轮还是原样三根杆 |
| 分数几百步之后才来一次 | 立刻就来,拉完当场给一个数 |
| 探索还是利用? | 探索还是利用? ← 只有这一件事留了下来 |
砍到这个份上,探索与利用的矛盾一点没少。 你仍然要在「守着目前看起来最好的那根」 和「去试那根只拉过一次的」之间做选择。
所以这一章能把这个矛盾算干净 —— 后面所有章的探索手段,根都在这里。
书里还留了一句很实在的话:只做探索,或者只做利用,大多数情况下都改善不了策略2。 两个极端都是错的,问题从来不是选哪一边,而是怎么配比。
2. 换了一门学问:在线学习和「攒一堆数据再学」差在哪
这一节交代一件容易被跳过、但决定了后面怎么算好坏的事。
教机器认猫的那套办法,前提是数据集是给定的、静止的:一百万张图摆在那儿, 你想看几遍看几遍,打乱顺序也没关系。这套办法书里叫统计学习。
赌博机不是。 数据是你一轮一轮拉出来的,而且你拉了哪根,就只能看到哪根的结果。 这类问题叫在线学习。书里把两者的差别列成三条3:
| 统计学习 | 在线学习 | |
|---|---|---|
| 样本怎么来 | 一整批摆在那里,没有先后 | 有先后,一个接一个来 |
| 关心哪种情况 | 平均情况 | 最差情况 —— 因为你要保证学习过程中随时都对局面有掌控 |
| 优化什么 | 减小「在已有数据上错多少」 | 让后悔值最小 |
第三行里那个新词,就是下一节的全部内容。
一个顺带解决的实现问题:平均值不必每次重算
书里在这里插了一个很小但很有用的点子4。
要算「杆 B 到现在的平均分」,最笨的办法是把它历史上所有奖励加起来再除以次数 —— 每一轮都要把一批数据翻一遍。
在线的写法只需要存两个数:当前平均值,和拉过几次。 新的一次奖励来了, 就把平均值朝新奖励的方向挪一小步,挪多少由「拉过几次」决定。
杆 B 拉了 2 次,平均 0.55。第 3 次拉出 0.4:
新平均 = 0.55 + (0.4 − 0.55) / 3 = 0.55 − 0.05 = 0.50
└ 差多少 ┘ └ 挪多少 ┘
图说:「旧估计 + 步长 ×(新观测 − 旧估计)」。**记住这个形状** ——
第 04 章你会发现,时间差分、Q-Learning、乃至后面所有更新式,全是这个形状。
(这几个数是为演示编的。)
3. 一把尺子:后悔值
这一节回答:怎么给「我本可以更好」标一个数?
先看现象
跑完六轮,你手上有一个总分。这个总分是高是低?没有参照物,你根本说不上来。
书里换了一个量来衡量,而且说得很直白:传统上我们想最大化奖励, 但在这里我们关注另一个指标 —— 后悔值5。
它是什么
后悔值 = 「假如我一开始就知道哪根杆最好、六轮全拉它」能拿到的分,减去我实际拿到的分。5
六轮里,最好的那根杆(C,平均 0.9)全拉的话:6 × 0.9 = 5.4
我实际拿到: 2.8
────────────────────────────────────────────────────
后悔值: 2.6
(这几个数来自本章主走查,**是为演示编的**;后悔值的定义是书里的。)
这把尺子的好处是:它有一个绝对的零点。 后悔值 0 意味着你从头到尾都在拉最好的那根。 一个总分「2.8」什么也说明不了,一个后悔值「2.6」立刻告诉你还差多少。
一个细微但重要的分别:后悔值,还是伪后悔值
「平均下来是多少」这件事,数学上有个专门的名字叫期望(把每种可能的结果按它出现的机会加权 平均)。 书里专门把两个带期望的量分开了,而它们的差别只在取最大和取平均的先后顺序6:
| 先做什么 | 后做什么 | 好不好算 | |
|---|---|---|---|
| 后悔值的期望 | 每一次试验里,先找出那次实际最好的杆 | 再对所有试验取平均 | 难算 |
| 伪后悔值 | 先对每根杆算出它的平均表现 | 再挑出平均最好的那根 | 好算 |
书里给了两者的关系:后悔值的期望 ≥ 伪后悔值6。
为什么要区分? 因为「那次实际最好的杆」是事后诸葛亮: 运气好的那次,某根平时很差的杆可能碰巧拿了高分,而你不可能事先知道。 伪后悔值只跟每根杆的真实平均水平比,不跟运气比 —— 所以它是更公道、也更好分析的那把尺子。
后面所有分析用的都是伪后悔值。 上面走查里那个 5.4,用的正是「C 的真实平均 0.9 × 6」, 而不是「六轮里实际出现过的最高分」。
4. 第一版做法:贪心,和它的一条命门
这一节走完主走查的问题 ①。
先给每根杆一个估计
书里的写法是:一根杆的价值,就是拉它能拿到的奖励的平均值; 真实的那个平均值你不知道,你手上只有一个估计 —— 把这根杆历史上的奖励总和除以拉过的次数7。
贪心:永远挑估计最高的那根
这就是第 01 章那个淘金者。 书里说得很明确:一直选估计值最大的那个动作, 这样的智能体就是贪心的,因为它一直在利用已经估过的值8。
走查 ①:贪心的六轮
前三轮各拉一次,把三根杆都试一遍:
第 1 轮 拉 A → 拿到 0.3 A 的估计 = 0.30(拉过 1 次)
第 2 轮 拉 B → 拿到 0.6 B 的估计 = 0.60(拉过 1 次)
第 3 轮 拉 C → 拿到 0.4 C 的估计 = 0.40(拉过 1 次) ← C 真实是 0.9,这一次运气差
从第 4 轮起,贪心只看「谁的估计最高」:B(0.60)
第 4 轮 拉 B → 0.5 B 的估计 = 0.55
第 5 轮 拉 B → 0.4 B 的估计 = 0.50
第 6 轮 拉 C ? 不会。C 的估计是 0.40,永远低于 B ── **它再也不会被拉第二次**
第 6 轮 拉 B → 0.6 B 的估计 = 0.525
六轮实际总分 = 0.3+0.6+0.4+0.5+0.4+0.6 = 2.8
伪后悔值 = 6 × 0.9 − 2.8 = 2.6
(**这些数全是为演示编的**,不是书里的数值。)
看第 3 轮和第 6 轮那两行:整件事的要害就在这里。
C 是最好的杆,但它第一次的运气差,估计值被压在 0.40。 而贪心永远只看估计值 —— 它再也不会给 C 第二次机会,于是永远不会发现 0.9 的存在。
更糟的是这笔亏空不会停: 之后每一轮,贪心都比最优少拿 0.9 − 0.5 = 0.4 分。 后悔值每一轮涨 0.4,一直涨下去。
第二版:ε-贪心,拿固定比例的浪费换「不被锁死」
书里给的第一个补救很朴素:每一轮先掷一次骰子,以一个很小的概率(所谓概率,就是「一百次里大约会发生几次」) 不看估计值、随便挑一根;其余时候照旧贪心8。
这就够让 C 有机会翻身了 —— 只要轮数足够多,C 迟早会被随机挑中几次,估计值就会回升。 书里说:如果时间步无限长,估计值可以保证收敛到真实值8。
但它有一个说不过去的 地方,而这正是下一节的动机:
ε-贪心在探索的时候,把所有非最优的动作一视同仁。9
书里原话是:它认为所有的非最优动作都是一样的,从而不对这些动作进行任何区别对待9。
可是在我们的例子里,A 拉过 1 次、B 拉过 4 次 —— 这两个「非最优」的可信程度天差地别。 把探索的机会均匀撒给它们,显然是浪费。
5. 第三版:置信上界 —— 让「没把握」本身值分
这一节走完主走查的问题 ②,而这是本章的落点。
先看现象
「杆 B 的估计是 0.55,拉过 4 次」和「杆 C 的估计是 0.40,拉过 1 次」—— 这两个 0.55 和 0.40 的可信程度不一样。 前者是四次的平均,后者是一次的运气。
可贪心把它们当成同一种数来比大小。这就是它的病根。
做法:给估计值加一项「我对它有多没把握」
书里说,如果我们想试每一个动作,应该优先尝试那些没试过的、或者试的次数更少的9。 于是把「挑估计值最高的」这一句改写成 ——
挑「估计值 + c × √( ln t ÷ 这根杆被拉过的次数 )」最大的那根
└ 我目前认为它值多少 ┘ └────── 我对这个数有多没把握 ──────┘
t 是当前是第几轮;c 是一个正数,决定你想探索多少。
这套办法就叫置信上界。10
书里把那个根号项的含义讲得很清楚:它反映的是我们对这根杆的估值有多不确定11:
- 这根杆被拉的次数越多,这一项越小 —— 试得多,估计就可信,不需要额外加分;
- 别的杆被拉的时候,这一项会变大 —— 因为分子里的 t 在涨、而它自己的次数没动。 你冷落它越久,它越值得被看一眼;
- 式子里对轮数取的是对数(一种把大数压扁的换算:轮数涨十倍,这个值只增加约 2.3), 这是为了让后期的时间步影响越来越小 —— 一开始每一轮都很重要,跑到一万轮时多一轮无所谓;
- 书里还专门规定:某根杆一次都没拉过时,直接认为它是最大的11 —— 保证每根杆至少被试一次。
这里有一句必须点破的话:整个式子的意思是「按乐观估计办事」。 你不是拿「它可能值多少」去比,而是拿「它最好可能值多少」去比 —— 所以一根杆只要还有可能是最好的,它就会被再试一次;只有当它的乐观估计都比别人低了,才被真正放弃。
走查 ②:置信上界的六轮(取 c = 1)
前三轮和贪心一 样,先把三根杆各试一次(因为没拉过的杆按规定排最前)。 从第 4 轮开始,两条路分道扬镳:
手上的数:A 估计 0.30(1 次) · B 估计 0.60(1 次) · C 估计 0.40(1 次)
第 4 轮 t=4,ln 4 = 1.386,三根杆的加分都是 √(1.386/1) = 1.18
A:0.30 + 1.18 = 1.48
B:0.60 + 1.18 = 1.78 ← 最大,拉 B
C:0.40 + 1.18 = 1.58
拉出 0.5 → B 的估计 = 0.55,拉过 2 次
第 5 轮 t=5,ln 5 = 1.609。**注意 B 的加分变小了,因为它的次数变成 2**
A:0.30 + √(1.609/1) = 0.30 + 1.27 = 1.57
B:0.55 + √(1.609/2) = 0.55 + 0.90 = 1.45 ← 估计最高,却掉到了最后
C:0.40 + 1.27 = 1.67 ← 最大,**拉 C**
拉出 0.9 → C 的估计 = (0.4+0.9)/2 = 0.65,拉过 2 次
★ 第 5 轮就是分水岭:贪心永远拉不到的那根,在这里被挖了出来。★
第 6 轮 t=6,ln 6 = 1.792
A:0.30 + √(1.792/1) = 0.30 + 1.34 = 1.64 ← 最大,拉 A(它只试过 1 次,最没底)
B:0.55 + √(1.792/2) = 0.55 + 0.95 = 1.50
C:0.65 + 0.95 = 1.60
拉出 0.2 → A 的估计 = 0.25,拉过 2 次
六轮实际总分 = 0.3+0.6+0.4+0.5+0.9+0.2 = 2.9
伪后悔值 = 6 × 0.9 − 2.9 = 2.5
(**这些数全是为演示编的**;公式与「没拉过的杆排最前」的规定是书里的。)
六轮之后,两边几乎打平 —— 而这恰恰是重点
2.6 对 2.5,差距小到看不出来。 如果你只跑六轮就下结论,会以为置信上界没什么用。
真正的差别在往后:
| 第 7 轮以后每一轮的后悔值 | 累积起来 | |
|---|---|---|
| 贪心 | 恒定 0.4(它锁死在 B 上了) | 一直往上涨,永不停;每轮涨的量都一样,画出来是一条斜直线,这种涨法叫线性 |
| 置信上界 | C 的估计已经升到 0.65 并会继续升,它会越来越多地被选中,每轮的后悔值趋近 0 | 涨得越来越慢 |
这就是为什么要用后悔值而不是总分来衡量:总分的差距会被短期运气淹没, 而后悔值的增长方式一眼就能分出高下。
判断(我们的,不是书里的): 上面这个「贪心线性涨、置信上界越涨越慢」的对照, 是我们按这一章给出的定义直接推出来的,书里没有给出增长率的定理; 原书在这里只把读者指向了一篇综述,说置信上界对后悔值的优化分析可以在那里找到10。 如果错,会错在: 如果某 根杆的真实水平差距极小(比如 0.50 与 0.51), 置信上界要跑很多很多轮才分得出来,短期内它未必比 ε-贪心好看。 判据是:杆与杆之间的真实差距,和你打算跑多少轮,这两个数的比。
6. 如果对面不是运气,而是一个人
这一节讲一个反转:前面所有分析都假设「每根杆的分布固定不变」。现实里常常不是。
先看现象
赌场老板会不会调机器?会。那时候你面对的就不是运气,而是一个想让你输的对手。
书里把这种设定叫对抗多臂赌博机:奖励不再由一个稳定的分布决定,而由一个对抗者决定12。
书里顺手回答了一个很多人第一反应会问的问题:对抗者干脆把所有奖励都设成 0 不就行了? 答案是不会 —— 那样就没人玩了。他反而会给足够多的奖励让你有赢的感觉,而玩了许多轮之后仍然是他获利12。
两个分类轴
书里用两个问题把这类问题分了类13:
| 问题 | 两种答案 |
|---|---|
| 对抗者知不知道你以前怎么拉的? | 不看历史的叫健忘对抗者;看历史的叫非健忘对抗者 |
| 你能看到多少奖励信息? | 能看到所有杆这一轮的奖励叫全信息博弈;只能看到你拉的那根叫部分信息博弈 |
一条很硬的结论:确定性的玩家必输
书里给了一个结果,值得原样记住14:
如果你是一个确定性玩家(策略固定、给定情况下永远出同一手), 对抗者很容易让你的后悔值达到拉杆次数的一半以上。
为什么? 因为你的策略是死的,对手可以提前推演出你下一轮会拉哪根,然后把那一根的奖励调低。
所以在有对手的时候,随机不是懒惰,是必需品。 你必须让对手猜不到你下一步 —— 这条结论到第 16 章会以「混合策略」的形式再回来一次。
两个算法名字,挂个牌就行
书里给了两个具体做法,这一章不展开,但名字要留着,因为你在别处会撞见:
-
Hedge:给每根杆记一个累计奖励,然后用一个「分数越高、被选中的机会越大」的换算 把它变成一组概率,再按这组概率随机挑15。里面有一个你可以自己拧的数(这种可以自己拧的数就叫参数), 它控制「多敢冒险」;
书里给这个参数起的名字是温度 —— 拧大了各根杆的机会被拉平、更敢试,拧小了越来越只挑分高的那根;
-
Exp3:在 Hedge 的基础上再掺一点均匀的随机,保证每根杆都有机会被选到, 用来对付「只看得见自己拉的那根」的部分信息情形15。
7. 往完整问题走一步:上下文赌博机
上下文就是「拉杆之前先让你看一眼的那点额外信息」,而上下文赌博机就是带这种信息的赌博机。 这一节是这一章通向第 03 章的桥。
先看现象
前面六节里,你每一轮面对的东西完全一样 —— 没有任何信息可以帮你判断「这一轮该拉哪根」。
现实中常常有。 书里举的例子:每台机器上有一个 LED 灯会发不同颜色的光。 如果亮红灯时总比亮蓝灯时给的奖励高,你就该在动作选择里用上这条信息 —— 优先挑那些红灯亮得多的机器16。
这种「先看一眼线索、再决定拉哪根」的问题,书里叫上下文赌博机。16
它卡在哪个位置
书里把它的定位说得很准17:
多臂赌博机 ──────── 上下文赌博机 ──────── 完整的强化学习
没有局面 有局面可看 有局面可看
动作只影响这一步 动作只影响这一步 **动作还会影响下一个局面**
▲
跨过这一步,就是第 03 章的内容 ┘
图说:三者的差别只有两条 —— 有没有局面可看、动作会不会改变未来的局面。
书里对最后那一步说得很明确:如果要把上下文赌博机变成一个完整的强化学习任务, 那么动作将不只是影响立即奖励,也会影响未来的环境状态17。
这句话就是第 03 章的开场白。
那个式子会回来
第 5 节那个「估计值 + 我对它有多没把握」的写法,不是一个只用在赌博机上的技巧。
它到第 19 章会以第三代的形式出现 — — 那时 AlphaZero 用它来决定 在一棵搜索树里,下一步该往哪个方向深想。 形状完全一样:一个「目前看它值多少」的项,加一个「这个方向被探得太少」的加分项。
别把它当成一个赌博机专用的公式。它是「怎么在不确定里做选择」这件事的通用答案。
作者的判断与证据
书里给了证据(定义或定理)的:
- 后悔值的期望 ≥ 伪后悔值,以及两者的差别在取最大与取期望的先后 —— 这是定义上的结果6;
- 对确定性玩家,对抗者能让后悔值达到拉杆次数的一半以上14;
- 置信上界那个根号项的行为(次数多则变小、被冷落则变大、取对数让后期影响变小)—— 这是从式子本身直接读出来的11。
作者的判断或引用他人、书里没给证明的:
- 置信上界用霍夫丁引理来估计上界,而完整的后悔值分析书里没做,只给了一篇文献10;
- 「只做探索或只做利用,大多数情况下都不能很好地改善策略」2 —— 这是一句经验判断,书里没有给出反例或实验;
- 对抗者「不会把所有奖励设成 0」 是一个关于赌场动机的推断12,不是数学结论。
判断(我们的,不是书里的): 这一章在全书的真实作用,不是教你解赌博机问题, 而是给「探索」这件事提供了唯一一次能算干净的示范。 后面每一次遇到探索(第 07 章往网络参数里掺随机、第 10 章把「保持不确定」写进目标、 第 11 章那个几十步才有分的游戏、第 19 章的树搜索), 形状都是这一章的「乐观估计」四个字。 如果错,会错在: 如果某种探索手段的根据完全不是「不确定性值分」 (比如纯粹靠人给的示范去指路,第 12、13 章那一类),这条串联就不适用于它。
边界与局限
- 这一章的所有结论都建立在「每根杆互不影响」上。 真实问题里选项之间往往高度相关 (试过一个动作,能顺带知道相似动作的好坏),那时这一套要重做;
- 书里没有给出置信上界的后悔值上界。 想要那个定理得去看它引的综述;
- 对抗赌博机这一节点到为止。 Hedge 和 Exp3 只给了伪代码和一句话动机, 没有任何实验、也没有和随机赌博机的性能对照;
- 上下文赌博机只给了一个 LED 灯的例子。 它在工业界最大的落地(推荐与广告投放)一个字没提。
可带走的
全章那条走查,一行写完: 三根杆(真实水平 0.2 / 0.5 / 0.9)各试一次,C 运气差只拿到 0.4 → 贪心从此锁死在 B 上,再也不碰 C → 而置信上界给每根杆加一项「我对它有多没把握」, 第 5 轮 B 的加分因为拉多了而缩水,C 被顶上来、拉出 0.9 → 六轮后两者的后悔值几乎打平(2.6 对 2.5),但贪心的后悔值此后每轮涨 0.4、永不停。 (这些数全是为演示编的;公式与规定是书里的。)
- 把问题砍到只剩一步,探索与利用的矛盾一点没少 —— 所以先在这里把它解干净;
- 只探索或只利用都是错的,问题从来是配比;
- 在线学习和「攒一堆数据再学」是两门学问:样本有先后、看最差情况、优化的是后悔值;
- 「旧估计 + 步长 ×(新观测 − 旧估计)」这个形状要记住 —— 后面所有更新式都是它;
- 后悔值 = 事后诸葛亮能拿的分 − 你实际拿的分。 它给了总分没有的那个绝对零点;
- 用伪后悔值,不用后悔值的期望 —— 前者跟真实水平比,不跟运气比,更公道也更 好算;
- 贪心的命门是:一次坏运气可以永久封杀一个好选项,而且这笔亏空是按线性累积的;
- ε-贪心能解锁,但它把所有非最优选项一视同仁 —— 这是浪费,也是置信上界的动机;
- 置信上界 = 按乐观估计办事。 一个选项只要还有可能最好,就会被再试一次; 只有当它的乐观估计都输了,才被真正放弃;
- 有对手时,确定性的策略必输 —— 随机不是懒惰,是必需品(第 16 章会再证一次);
- 上下文赌博机与完整强化学习只差一件事:动作会不会改变未来的局面。 那就是下一章。
原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 在线学习与统计学习的三处不同 | 第2章 强化学习入门 | text/06-ch02.txt:122(搜「有序的」) · text/06-ch02.txt:127(搜「最小化后悔值」) |
| 单臂与多臂赌博机、奖励分布固定 | 第2章 强化学习入门 | text/06-ch02.txt:133(搜「对某一台赌博机来说是固定的」) · text/06-ch02.txt:135(搜「多臂赌博机」) |
| 动作价值的定义与估计 | 第2章 强化学习入门 | text/06-ch02.txt:147(搜「估计」) · text/06-ch02.txt:155(搜「这个动作被选择的次数」) |
| 贪心、ε-贪心、只探索或只利用都不行 | 第2章 强化学习入门 | text/06-ch02.txt:105(搜「贪心」) · text/06-ch02.txt:153(搜「都不能很好地改善策略」) · text/06-ch02.txt:172(搜「ϵ-贪心」) |
| 增量式平均(在线更新) | 第2章 强化学习入门 | text/06-ch02.txt:181(搜「移动的平均值」) |
| 后悔值的定义 | 第2章 强化学习入门 | text/06-ch02.txt:200(搜「后悔」) · text/06-ch02.txt:211(搜「真实获得」) |
| 伪后悔值与两者的关系 | 第2章 强化学习入门 | text/06-ch02.txt:232(搜「顺序是不一样的」) · text/06-ch02.txt:235(搜「一定关系」) |
| 置信上界的公式与含义 | 第2章 强化学习入门 | text/06-ch02.txt:244(搜「置信上界」) · text/06-ch02.txt:252(搜「采用次数更少的动作」) · text/06-ch02.txt:261(搜「平方根项」) |
| 对抗赌博机、对抗者的动机 | 第2章 强化学习入门 | text/06-ch02.txt:268(搜「对抗者」) · text/06-ch02.txt:274(搜「让他们有赢的感觉」) |
| 健忘/非健忘、全信息/部分信息 | 第2章 强化学习入门 | text/06-ch02.txt:280(搜「健忘对抗」) · text/06-ch02.txt:283(搜「全信息博弈」) |
| 确定性玩家的后悔值下界 | 第2章 强化学习入门 | text/06-ch02.txt:287(搜「确定性玩家」) |
| Hedge 与 Exp3 | 第2章 强化学习入门 | text/06-ch02.txt:303(搜「控制温度」) · text/06-ch02.txt:308(搜「平均分布」) |
| 上下文赌博机、LED 灯、定位 | 第2章 强化学习入门 | text/06-ch02.txt:334(搜「LED 灯」) · text/06-ch02.txt:337(搜「两者之间的问题」) · text/06-ch02.txt:341(搜「也会影响未来的环境状态」) |