把打分器消掉 — 一次代数上的抵消,和它长出来的一族亲戚
这一章讲三件事: 第 08 章那套流水线里,最贵的那个零件怎么被一次代数演算整个拿掉; 拿掉之后失去了什么;以及从这个想法长出来的一族做法各自在治什么病。
它在全书链条里的位置: 第 07 章造出了打分器,第 08 章拿它去改模型—— 然后交出了一张很难看的账单。这一章是对那张账单的回应。 它也是全书第一次给出「几条路线摆在面前,怎么选」的口径, 而那条口径(举证责任在复杂的那一侧)后面还会被反复引用。
★ 第 08 章那个「减掉一个基线」的动作,在这一章第二次出现, 换了一种做法:不再养一个价值头去估,直接拿同一个提示词下几份回答的平均分当基线。
1. 先看现象:一张难看的账单,和 2023 年那声集体松气
第 08 章那条路线,书自己的定性是这样的:
尽管它在概念上很清楚,它是一个脆弱的算法——对超参数敏感、对基础设施要求高。1
把第 08 章那几节的账单摊开:
| 要养的东西 | 干什么 | 拿掉它会怎样 |
|---|---|---|
| 正在训练的模型 | 写信 | 拿不掉 |
| 参考模型 | 当尺子 | 拿不掉(那是「别走远」的参照物) |
| 打分器 | 打分 | 这一章就是拿掉它 |
| 价值头 | 估「这一回合大概值多少分」 | 本章第 6 节那个亲戚拿掉它 |
| 训练途中的生成 | 一个词一个词写出候选回答 | 这一章连它一起拿掉 |
所以 2023 年斯坦福那篇论文出来的时候,书里的原话是:
当一支团队发表论文,主张我们也许可以完全不必显式地构造一个打分器、 而是直接从偏好里推出训练信号时,那种松了一口气的感觉几乎是普遍的。1
顺带说清楚这一章的另一半来历
这一章讲的不只是那一篇论文。 书在开头并排讲了第二件事:
稍后不久,一支当时还不出名的中国团队描述了它的数学推理模型。 因为出口管制拿不到更强的显卡,团队只能从网络栈到训练范式来一系列聪明的工程变通; 这一章后面要讲的另一种做法,就是那次努力的一部分2。
书用这两件事引出一句总纲,它决定了整章的写法:
在我们工作的这个尺度上,偏好优化既是性能问题, 也同样是速度问题和技术可行性问题。 到了这一层,后训练不只是一个机器学习难题, 还是一个协调资源、管理资源上限、把训练流程跑得高效的问题3。
2. 顶层全景:同一对数据,两条路并排走
同一对偏好数据:提示词 x + 赢的那份 B + 输的那份 A
│
┌────┴─────────────────────────────┬──────────────────────────────┐
│ 第 08 章那条路 │ 这一章这条路 │
├──────────────────────────────────┼──────────────────────────────┤
│ ① 先训一个打分器 │ ① （没有这一步） │
│ ② 让模型当场写几封候选信(慢) │ ② （没有这一步。数据是现成的） │
│ ③ 打分器给它们打分 │ ③ （没有这一步） │
│ ④ 价值头估个基准,相减得优势 │ ④ （没有这一步) │
│ ⑤ 裁剪 + 偏离惩罚,反推挪一步 │ ⑤ 让当前模型和参考模型各前向 │
│ │ 跑一次这两份现成的回答, │
│ │ 算出一个损失,反推挪一步 │
└──────────────────────────────────┴──────────────────────────────┘
图说:**右边这一列少掉的每一格,都不是被工程手段绕过去的,是被一次代数演算消掉的。**
§3 讲那次演算,§4 讲消掉之后打分器去哪儿了,§5 讲代价。
主走查(全章共用): 拿第 07 章那一对具体的候选信 (赢的 B 结尾写「如对本决定有异议,可于 60 日内申请复议」, 输的 A 结尾写「建议您尽快复诊」),在右边这条路上走完一步, 看每一个数具体是多少。 编造的数每次出现都会标明。
3. 机制一:把中间人拿掉的那三步代数
这一节是整章的命门。 它不是一个工程技巧,是一次代数上的巧合, 而这个巧合恰好足够大,足以让整条流水线塌掉一半。
它解决什么问题
书先把问题问出来了:
打分器只是一个中间人。 人通过成对比较表达偏好 → 这些比较被用来训一个打分器 → 打分器给模型的输出打分 → 再拿这些分去改模型。 这条链上每一环都引入计算成本和出错的可能: 打分器可能没能忠 实表示它学的那些偏好,而且更要命的是,它有被对着奖励作弊的风险4。
于是那个显而易见的问题是:能不能把中间人砍掉?5
第一步:那个目标其实有一个闭式的答案
起点就是第 08 章那个目标,一个字都没变:
朝打分器的高分走 同时 别离参考模型太远
这里出现了第一件让人意外的事:这个目标的最优解是可以直接写出来的, 不必靠一步步试着挪。它长这样(我们只交付结构,式子请查原书)6:
最优策略给某份回答的概率
= 参考策略给它的概率
× exp(这份回答的奖励 ÷ β)
÷ 一个归一化常数
逐块读一遍:
| 这一块 | 在说什么 |
|---|---|
| 参考策略给它的概率 | 出发点还是原来的自己 |
| 乘上「奖励除以 β」的指数 | 奖励越高的回答,相对参考策略被抬得越高;β 越小抬得越狠 |
| 除以一个归一化常数 | 一堆概率乘完之后加起来不等于 1 了,除掉这个数把它们拉回成一个合法的概率分布 |
这个归一化常数是后面全部戏剧性的来源,所以要单独说清它是什么:
它是「对这个提示词的所有可能回答」求一个加权和。 「所有可能回答」的数量是天文数字——每个位置几万种 token 选择,乘上几百个位置。 对任何一个现实的语言模型,这个和都算不出来。7
记 住这件事:它算不出来。 下面第三步会处理它。
第二步:把这个关系倒过来解
这一步是整个把戏的核心,书自己称它为「一次值得细品的偷天换日」8:
我们从一个需要打分器的目标出发,推出了「在这个奖励下,最优策略长什么样」, 然后反过来问:如果我们手上已经有了最优策略,是什么样的奖励才会产生它?
倒过来解的结果是9:
某份回答的奖励
= β × log( 最优策略给它的概率 ÷ 参考策略给它的概率 )
+ β × log( 那个归一化常数 )
用大白话读这个式子:
一份回答的奖励, 完全由「当前这个模型比参考模型更偏爱它多少」决定。 模型比参考模型更看好它 → 它的隐含奖励就更高。这是构造出来的,不是推断出来的8。
注意那个算不出来的归一化常数还赖在式子里。 它只依赖提示词,不依赖是哪份回答—— 这一点马上就要救场。
第三步:代回去,那一项恰好抵消
第 07 章那个成对比较的结构还记得吗?「算两份的分差 → 压成一个概率 → 取负对数当损失」。
把上面那个反解出来的奖励,代进这个结构里的「算差」那一步:
赢的那份的奖励 = β × log(策略/参考) + β × log(归一化常数)
输的那份的奖励 = β × log(策略/参考) + β × log(归一化常数)
└────── 完全一样 ── ────┘
相减 → 归一化常数整项消失
为什么完全一样:因为它只依赖提示词 x,而这两份回答共用同一个提示词。
书对这一步的定性没有留余地:
这不是一个次要的技术上的便利。这就是这套做法之所以成立的全部原因。10
抵消之后剩下什么?
只剩下四个对数概率:当前模型给赢的那份和输的那份各打的概率, 参考模型给这两份各打的概率。 而这四个数,只要让两个模型各前向跑一次就能精确算出来。10
这条路线的名字叫 DPO(Direct Preference Optimization, 直接偏好优化——「直接」指的就是跳过打分器,直接从偏好推出训练信号)。 出门看任何一份训练框架的文档都会撞见这三个字母,所以留名。
走查:那一对信在这条路上走一步
提示词 x =「保单 P-4471……请写拒付说明信」
赢的 B:结尾「如对本决定有异议,可于 60 日内申请复议」
输的 A:结尾「建议您尽快复诊」
第 1 步:两个模型各前向跑一次,拿到四个对数概率
参考模型: 给 B −42.0 给 A −41.0 ← 它没学过合规口径,反而觉得 A 更自然
当前模型: 给 B −41.5 给 A −40.0
第 2 步:算每份的「隐式奖励」= β × (当前 − 参考),取 β = 0.2
B: 0.2 × (−41.5 + 42.0) = 0.2 × 0.5 = 0.10
A: 0.2 × (−40.0 + 41.0) = 0.2 × 1.0 = 0.20
← 当前模型现在更偏爱 A。这是错的。
第 3 步:算差 → 压成概率(和第 07 章完全同一个结构)
0.10 − 0.20 = −0.10 → 压成概率 ≈ 0.475
「人会选 B」的概率,按模型现在的看法只有 47.5%
第 4 步:但人确实选了 B → 损失 ≈ 0.74 → 反推参数该往哪挪 → 挪
下一轮:B 的概率相对参考模型被抬高,A 的被压低
★ 对照第 08 章的同一步:那里要先跑打分器、要现场生成候选、要价值头。
这里一个都没有,**只有两次前向**。
(四个对数概率和 β = 0.2 之外的所有数是为演示编的;β 的起手值 0.2 是书里给的。)
4. 机制二:打分器没被消灭,只是变成隐式的
这是最容易被误读的一处,而书专门开了一段小字来纠正11:
为准确起见值得指出:这套做法并没有消灭打分器,只是让它变成了隐式的。 策略本身通过它相对参考模型的概率比,编码了那个奖励函数。 与其训练一个单独的模型去预测奖励,不如训练策略,让它给出的概率就是奖励。 打分器在概念上仍然存在,只是分散在策略的参数里,而不是被单独实例化出来。
为什么这个纠正很重要: 它解释了后面所有局限的来源。 打分器还在,只是你看不见它、也没法单独检查它。 第 07 章那些手段(拿常识例子试它、看它的留出准确率)在这里全部用不上了。
一个直接后果:训起来像给它看示范
书对这条路线跑起来的样子给了一个很省事的描述12:
没有打分器要训、也没有打分器要在训练途中跑。 没有生成这一步——所有回答都来自现成的偏好数据集,而不是从策略采样。 没有价值函数要学,也没有优势估计要配。
训练循环长得像第 05、06 章那套:装一批数据 → 前向跑一遍 → 算损失 → 反推。 为示范训练建的那套标准设施,几乎不用改就能跑这个。
★ 第 07 章那条分界线在这里第一次回来。 第 07 章讲过一道细微但要紧的分界:自己现生成着学(on-policy) 和拿现成数据学(off-policy)。
这条路线属于「拿现成数据学」这一侧,而且是最纯粹的那一种: 训练全程一个字都不生成。 第 08 章那条「生成慢、优化快」的效率难题,在这里根本不存在—— 因为整个生成环节被删掉了。
但它有一笔容易被忽略的账
书专门写了一段提醒13:
相对上一章的简单,可能会掩盖一笔实实在在的显存开销:那个参考模型还得养着。 每一次前向都要在正在训练的策略和冻住的参考模型两边各算一遍; 对大模型来说,这实际上让显存需求比示范训练翻了一倍。
书给的对策就是第 12 章那一整套技法: 把底座冻住、只训一小块挂上去的旁路,于是底座只需要装载一次—— 一份权重同时当「正在训练的模型」和「参考模型」用13。具体怎么做,第 12 章讲。
这条路线的几个起手值
书给了一张表,最该记住的是三行14:
| 旋钮 | 常用范围 | 起手 | 说明 |
|---|---|---|---|
| β | 0.1–0.5 | 0.2 | 它就是第 08 章那条绳的松紧,只不过现在藏在损失里。调高 = 更保守 |
| 学习率 | 10⁻⁶–10⁻⁵ | 5×10⁻⁶ | 和第 08 章同一档,都低于示范训练那一档 |
| 训几遍 | 1–3 | 1 | 遍数越多越容易背下来(第 06 章那个「训练损失接近零是警报」的同一件事) |
5. 机制三:简单的代价 —— 三个局限,和一层冲不上去的天花板
书自己给这一节起的标题就叫「简单的价钱」。
局限一:它假定你的模型有能力成为那个最优策略
推导里有一个悄悄的前提:被训练的这一类模型,有能力表示出偏好数据所隐含的那个最优行为。
如果做不到,训练会尽力,但到不了真正的最优。 书给了一个很硬的例子15:
奖励一个「记住一万个 token」的行为,不会让一个上下文窗口只有 4096 个 token 的 模型结构魔法般地把窗口翻倍。 说得再朴素一点:你没法把模型训成它做不到的样子。
更实际的一层是: 如果偏好数据有限或者不具代表性, 它逼近的那个「最优策略」可能压根不是你想要的那个15。
局限二:它对参考模型敏感,而且会敏感到出数值问题
这条要讲透,因为它是实际训练里最常见的坑16:
损失里要用到「参考模型给这份回答的对数概率」。
如果参考模型认为某份回答几乎不可能出现
→ 它的对数概率是一个很大的负数
→ 两个很大的负数相减,数值上不稳定
→ 梯度可能爆掉,或者变得毫无信息量
什么时候会撞上: 偏好数据里有参考模型很少会写出来的回答—— 比如这些回答来自另一个模型,或者被人重度编辑过16。
走查上的样子: 假如那 800 封真实历史信件是资深合规专员亲手写的, 措辞习惯和模型完全不同,参考模型会觉得它们「几乎不可能」—— 于是那个 −42.0 会变成 −180.0,而两个 −180 量级的数相减,结果就是噪声。
对策两条: 让偏好数据贴住参考模型写得出来的东西; 或者过滤掉那些有问题的样例16。
局限三:它学不到固定数据之外的东西
这是书认为最根本的一条17:
它只从一个固定的偏好数据集里学。 如果实际部署时碰到的情况和训练数据差得远,在训练提示词上学到的偏好未必迁移得过去。 和上一章那条路不同——那一条通过生成来探索,而这一条无法发现该怎么处理新情境。
★ 第 07 章那条分界线在这里第二次回来,而且这次是它的代价那一面。
| 自己现生成着学(第 08 章) | 拿现成数据学(这一章) | |
|---|---|---|
| 能不能碰到新东西 | 能。当前模型偶然写出一条出乎意料的好回答,这条回 答能立刻被强化 | 不能。数据里没有的行为,它没有任何信号去学 |
| 书给的后果 | 它能一直往上走 | 它会到某个点就不动了(plateau)18 |
书给的对策是「覆盖」: 让偏好数据覆盖部署时会遇到的全部多样性; 覆盖不了的话,考虑在这条路跑完之后再接一段带探索的训练17。
还有一句给评估的警告,第 10 章会用到: 拿「和训练同分布的留出数据」评出来的分数,会高估实际部署时的表现。17
天花板:冲极限能力时它上不去
这一条不是推理,是一家公司的实际经验19:
Meta 起初因为效率优势采用了这条路线,后来发现它 「在冲向最大能力时,扩展性不如上一章那条路」, 于是转向了让 AI 来提供反馈的做法( 第 17 章讲)。
书还引了一项大规模研究(四十万卡时以上)来支撑这个判断:
不是所有偏好优化的配方都能达到同样的渐近性能。 你能到达的天花板由根本性的算法选择决定,而不只是数据质量或算力预算。 损失怎么聚合、怎么归一化这类设计细节,只调节你逼近那个天花板的效率, 天花板本身是算法定的19。
书自己的收口: 这条路线常常是那个关键中间层的正确选择; 但如果你发现自己已经在冲它的极限、还需要更多能力, 答案可能是换算法,而不是再加偏好数据。19
6. 机制四:一族亲戚,各治一病
这条路线出来之后,长出了一族做法。 书的态度很清楚:
这一行的演化比任何综述都快。它们每一个也都很可能被后来的东西取代。 要紧的是理解这些前沿技法底下的原理,好知道怎么把它们改造到你的场景上。20
所以下面每一个的写法都是:它治什么病 → 靠什么招 → 代价是什么。
亲戚一:数据不成对怎么办(KTO)
病: 前面所有做法都要成对的数据——同一个提示词下,一份赢的一份输的。 但很多天然的反馈根本不成对: 用户对着一条回答点了个赞或者踩,他压根没看到过备选21。
招: 换一个理论底座。它借的是行为经济学里的前景理论—— 一套解释人怎么在不确定下做决定的理论,这套理论替卡尼曼拿到了诺贝尔经济学奖21。 它不要求相对偏好,只要求绝对判断:这条回答是想要的,还是不想要的。
这套理论里最要紧的一条发现是「损失比收益更显眼」:
丢掉 10 美元的难受,大过捡到 10 美元的高兴。22
于是这个做法把这个不对称直接写进了目标:
| 碰到什么样本 | 做什么 | 权重 |
|---|---|---|
| 想要的输出 | 鼓励模型相对参考模型把它变得更可能 | 1 |
| 不想要的输出 | 惩罚模型让它变得可能 | 更重(常用 1 到 2 倍)23 |
后果很实在: 模型学「避免坏输出」比学「产出好输出」快。 书的判词:当「避免有害或低质输出」比「把最好的那部分再往上顶」更要紧时, 这个不对称正好对上部署的优先级23。
它有一个不讲就会出事的零件:参照点。
如果没有一个参照点,模型可以靠「把所有概率一起抬高」来满足这个目标—— 那样它什么都没学到。 所以目标里放了一个锚:整个数据集上的平均对数概率比。 有了它,「想要」才意味着「高于典型水平」,每一条样例是在和总体平均比, 而不是在和某个具体的备选比——这正是它能吃不成对数据的原因24。
这个做法的名字叫 KTO(Kahneman-Tversky Optimization, 以那两位提出前景理论的心理学家命名)。
它带来的一个很现实的好处: 数据可以东拼西凑。 专家挑出来的一批金标准答案(没有对应的负例) 可以和 另外单独收集的失败案例、对抗测试的产物混在一起用,不必人为凑成对25。
书给的效果结论很克制: 有成对数据时,它和上一节那条路线表现相当,大尺度上可能超过; 两者在标准基准上谁也不压倒谁,差异通常小于数据质量和调参带来的差异。 只有不成对数据时它才是唯一可走的路25。
但有一条警告必须跟着26:
风险在于:去找那些根本不存在的信号。 比如拿「用户和模型聊了多久」当赞成的信号—— 聊得久可能是投入和满意,也可能是困惑、挫败或者分心。 不做仔细分析就拿它当代理,可能训出一个把啰嗦看得比清楚和切题更重的模型。 而且和建模过程里所有的假设一样,这个假设必须被写下来存档。
亲戚二:把价值头也拿掉(GRPO)★ 第 08 章那个基线的第二形态
病: 第 08 章那条路要养一个价值头,专门估「这个提示 词大概能拿多少分」。 这个头本身要学、要调、还会追一个不停移动的目标。
招:朴素到有点好笑。
价值函数的用处,是估计「从这个局面出发,预期能拿多少奖励」。 可是——研究者想——一个同样够用的估法,不就是 对同一个提示词多采几份回答,看看它们实际拿到了多少分吗? 这几份的平均分,就是那个「预期奖励」的经验估计。27
★ 这就是第 08 章那个「减掉一个基线」的第二副形态:
| 第 08 章 | 这里 | |
|---|---|---|
| 基线从哪来 | 一个学出来的价值头估的 | 同一个提示词下那几份回答的平均分,当场算的 |
| 代价 | 多一个模型要养要调 | 要在训练途中生成几份回答 |
| 好处 | 只生成一份 | 价值头彻底消失 |
走查上的样子:
提示词 x =「保单 P-4471……请写拒付说明信」
让模型一口气写 4 封:y₁ y₂ y₃ y₄ ← 这一组叫一个「组」
打分器给分: 8 7 9 8
组内平均 = 8,组内标准差 ≈ 0.7
优势 = (自己的分 − 8) ÷ 0.7:
y₁: 0 y₂: −1.4 y₃: +1.4 y₄: 0
★ 没有任何一个价值头参与。基线就是这四个数自己的平均。
为什么要再除以那个标准差:这是这个做法最精彩的一处,书用一个对照讲透了28:
同一批训练里的两个提示词:
提示词 A(容易):四份回答得分 8, 7, 9, 8 ← 平均 8,组内标准差 ≈ 0.7
提示词 B(难): 四份回答得分 3, 2, 4, 3 ← 平均 3,组内标准差 ≈ 0.7
不做归一化:A 的原始优势会仅仅因为分数高就压过 B 的贡献,
哪怕模型「相对题目难度」在两边表现得一样好。
做了归一化:第一步各减各自的平均 ——
A:8−8, 7−8, 9−8, 8−8 = 0, −1, +1, 0
B:3−3, 2−3, 4−3, 3−3 = 0, −1, +1, 0
第二步各除以自己那个 0.7 ——
A:0, −1.4, +1.4, 0
B:0, −1.4, +1.4, 0
★ 完全相同。两个提示词对梯度的贡献相等。
★ 这里书里印的数算不通,我们按机制重算了。 书给这两组的归一化结果都写成 「约 +0.7、−1.0、+1.4、+0.7」。
但任何一组减掉自己的平均之后,四个偏差加起来必然是 0—— 除以同一个标准差之后当然也还是 0;而书印的那四个数加起来是 +1.8。 这是书自己的一处算术错误。
上面那两组(0, −1.4, +1.4, 0)是照它给的分数、它给的均值和标准差重算的。 而书要讲的那个结论一个字都不用改:两个提示词归一化之后的优势完全相同, 难题和易题对梯度的贡献相等28。
一句话:它问的不是「这封信好不好」,而是「在这道题上,它比同门师兄弟们好还是差」。 一份得 8 分的输出是好是坏取决于题目难度; 但一份得 8 分、而同组平均是 5 分的输出,对它这道题来说明显在平均之上27。
其余部件照抄第 08 章: 概率比裁剪照旧、偏离惩罚照旧。 它继承了上一章的稳定性,同时把那个让上一章昂贵的价值网络删掉了29。
这个做法的名字叫 GRPO(Group Relative Policy Optimization, 「组内相对」的策略优化——名字里那个「组」就是上面那四封信)。
唯一的主旋钮是组大小 G30:
| G | 优势估得准不准 | 代价 |
|---|---|---|
| 4 | 噪声大 | 便宜 |
| 16 | 稳 | 每个提示词要生成 16 份,生成阶段的显存和算力都涨 |
书给的常用区间就是 4 到 16,具体选哪个取决于打分器的方差和算力预算30。
它在流水线上的位置也值得记一句: 它介于前面那条纯离线的路和第 08 章那条全在线的路之间—— 不像前者那样完全不生成,也不像后者那样要维护价值网络30。
还有一件事书特意点了出来,因为它动摇了一条流行的顺序:
那支团队不仅用这个方法以很低的成本训出了模型, 而且是在没有做示范训练的情况下直接做强化学习就拿到了很强的结果, 这让「先示范、再强化」这条传统流水线受到了一些质疑。31
★ 第 05 章第 3 节许诺过在这里说清「质疑掉了多少」,现在还上。 那一节给过这条顺序背后的机制:示范那一步把正确解法的路径撑大、 但错的路径也一并留着;强化那一步把错的压下去、却也会连带压掉一些对的。 两步互补,所以先后不能倒32。
判断(我们的,不是书里的): 上面那件事动摇的是「必须」,不是「通常」。 那处不对称说的是「强化不擅长从零发现正确路径」, 而那支团队的底座本身已经是一个在海量文本上训过的强模型—— 正确路径不是零,只是没有被针对性地撑大过。 所以我们的读法是:在题目有明确对错、底座又足够强的领域(数学、代码), 跳过示范是可行的;在你那个只有 300 封信的领域,别学。 书自己的措辞也很克制——它说的是「受到了一些质疑」,不是「被推翻」31。
如果错,会错在: 如果后续证据表明跳过示范在一般领域也稳定成立, 那这条顺序就不只是「被质疑」而是真的过时了。 判别的办法很具体:看有没有人在「对错不可自动判定」的领域上, 不做示范直接强化还能拿到同等结果。 到本书成书为止,书没有给出这样的例子。
这个做法还有一族按难度调整的扩展,书列了三条改动33:
| 改动 | 治什么 |
|---|---|
| 按长度给奖励打折 | 一道 5 步能解的题,用 15 步解出同样的答案得分更低——治啰嗦,顺便省推理成本 |
| 给错误答案单独加罚 | 组内归一化会模糊掉「全坏」和「大多好」两种组的区别,显式罚错答案能把这个区别重新锐化 |
| 按难度给优势重新加权 | 模型已经能做对九成的简单题,那些题给出的学习信号基本是噪声;只做对三成的难题才有最大的改进空间 |
这套改动在 140 亿参数这一档的数学推理基准上拿到了当时最好的结果, 而且收敛更快、解法更短33。书给的推广口径是:任何一种强化学习方法, 都能从「让训练力气匹配题目难度」这件事上受益。
亲戚三、四、五:各治一个具体的病
下面三个书讲得比较短,我们照它的详略处理,但每一个都写清它治什么。
| 名字 | 治什么病 | 靠什么招 | 代价 / 适用 |
|---|---|---|---|
| IPO | 前面那条主路的损失,在「一边倒的偏好对」上会给出无上限的推力——人一致认为 B 明显更好时,它会不停地把 B 相对 A 推得更高,如果模型本来就到不了那个最优,这就变成了对着这几对数据死记硬背34 | 换一种损失:不再是「越远越好」,而是「达到一个目标间距就停」;超过之后梯度封顶 | 偏好数据少或者有噪声时更稳;数据又多又好时和主路的差别通常不大34 |
| ORPO | 前面所有做法都要养一个冻住的参考模型,显存直接翻倍 | 把示范训练和偏好训练合成一个阶段:一半损失是「把赢的那份写流畅」,另一半是一个比较赢/输相对可能性的惩罚项。参考模型不是变隐式,是从计算里彻底消失35 | 显存比主路少一半,还少一个训练阶段;从没做过示范训练的底座起步时效果尤其好35 |
| SimPO | 主路对参考模型的依赖(局限二那件事),外加偏爱短回答的毛病——越长的序列天然对数概率越低,不校正就会偏短 | 也不要参考模型:直接用按长度归一化后的序列概率,再设一个目标间距 | 显存显著下降、训练更快(不必对冻住的参考模型跑前向),基准上有竞争力36 |
这三个名字都要留:IPO、ORPO、SimPO 在任何一份训练框架的文档里都会碰见。
7. 机制五:怎么选 —— 这是匹配问题,不是排名问题
这一节是这一章最能带走的东西,而且它的适用范围远超本章。
结论先行
该用哪个方法?答案不是「哪个在基准上表现最好」, 而是「哪个匹配你的数据、你的基础设施、你的部署约束」。 在几种偏好优化方法之间做选择,是一个匹配问题,不是排名问题。37
四个维度,全部由第 07 章那条分界线派生
书把「自己现生成着学 / 拿现成数据学」这条线拆成了四个可以当场判的维度38:
| 维度 | 自己现生成着学 | 拿现成数据学 |
|---|---|---|
| 能不能探索 | 能。模型生成 → 拿到反馈 → 调整,能发现新行为 | 不能。数据里没有的行为,没有信号去学 |
| 分布会不会漂 | 不会。训练分布永远就是当前模型的输出分布 | 会。偏好数据反映的是一个历史模型会写出什么,而模型在变,这个缝会越来越宽 |
| 算力 | 贵。 训练途中要生成,而生成是一个词一个词来的 | 便宜。 前向跑一遍就够 |
| 数据要求 | 一个好的打分器就够,它自己造训练数据 | 要事先收好高质量偏好数据,而且必须覆盖部署时会遇到的情况 |
一张四选一的对照表
书给了一张表,我们照它整理39:
| 第 08 章那条 | 主路(DPO) | 不成对(KTO) | 组内相对(GRPO) | |
|---|---|---|---|---|
| 要什么数据 | 打分器 | 成对偏好 | 单独的赞/踩 | 打分器 |
| 训练途中生成吗 | 要(在线) | 不要(离线固定数据) | 不要 | 要(每题一组) |
| 要单独的打分器吗 | 要 | 隐式在策略里 | 隐式在策略里 | 要 |
| 要价值网络吗 | 要 | 不要 | 不要 | 不要 |
| 算力 | 最高 | 最低 | 低 | 中等 |
| 基础设施 | 复杂 | 像示范训练 | 像示范训练 | 中等 |
| 对超参敏感吗 | 非常敏感 | 中等(主要是 β) | 中等 | 中等 |
| 最适合 | 要最大控制权、要探索 | 有成对数据、想要简单 | 手上是赞/踩数据 | 要规模、又不想养价值网络 |
书还补了一句常被忽略的:选型还要考虑组织因素—— 团队对某项技法熟不熟、现有基础设施撑不撑得住、 以及「新建基础设施的成本」对比「迁就现有方法的成本」40。
基准告诉我们的两件事
第一件,而且是最稳健的一条41:
数据质量压过算法选择。 一条实现良好、偏好数据经过精心策展的简单流水线, 会打败一套实现糟糕的复杂流水线——不管后者理论上有多少优势。
第二件,把实现质量控住之后41:
在线的方法一致地取得更好的最终表现。 这个差距的根子是分布漂移:当模型进步到超过那个固定数据集所代表的水平之后, 继续改进就停滞了。
这两条合起来才是完整的口径,少了任何一条都会被误读。
那条要记一辈子的口径
举证责任应当落在复杂的那一侧,而不是简单的那一侧。42
书把它写成了一条可以直接执行的默认设置42:
有成对数据 → 默认就用主路(DPO)
只有在它**被明确证明不够用**的时候,才上第 08 章那 条路。
理由:复杂方法的吸引力是真的——更多控制、更多旋钮、更多理论支撑。
但**每一个旋钮都是一次可能出错的机会**,
**每一个额外的部件都是一个可能坏掉或者配错的系统。**
★ 一个执行得好的简单方法,打得过一个执行得差的复杂方法。
这就是第 08 章末尾我们留下的那个问题(「这条路到底值不值得跑」)的答案。
老手怎么把它们串起来用
书最后给了三种常见的组合43:
| 组合 | 怎么串 |
|---|---|
| 先便宜后贵 | 先用主路打底、建立一个偏好对齐的基线,再用第 08 章那条路精修那些需要在线探索的具体能力 |
| 反复迭代 | 训完的模型生成新的回答 → 评出新的偏好数据 → 训下一轮,以此对治分布漂移 |
| 组内 相对 + 合成偏好 | 模型生成回答,一个 AI 评判者按一套明写的原则给出偏好判断,再用组内相对那条路去训。完整机制第 17 章讲 |
书给的原则一句话:让每一种技法做它最擅长的那件事。 而这需要你对每个部件的长处和失效方式熟到能给它们排序、也能在出问题时诊断出来43。
8. 作者的判断与证据
| 说法 | 是哪一类 | 说明 |
|---|---|---|
| 归一化项相减时抵消 | 可验算的代数 | 它只依赖提示词、不依赖回答,这一步读者可以自己验10 |
| 「这就是它成立的全部原因」 | 作者的强判断 | 他明说这不是次要的技术便利;这是他的定性,不是实验结论10 |
| 打分器只是变成隐式的 | 作者的澄清 | 书专门用一段小字纠正常见误读11 |
| 参考模型让显存翻倍 | 工程事实 | 每次前向要在两个模型上各算一遍13 |
| 三个局限 | 推导 + 经验混合 | 前两条从推导的前提直接推出,第三条(分布漂移)是所有离线学习方法共有的151617 |
| 冲极限时扩展性不如上一章 | 他引别人的经验 | 这是 Meta 公开的说法,书给了尾注;不是作者自己的实验19 |
| 天花板由算法定、细节只定逼近效率 | 他引的一项大规模研究 | 四十万卡时以上,书给了尾注19 |
| 损失比收益更显眼 | 有据(诺奖级的行为经济学发现) | 但把它搬到模型训练上是那篇论文的设计选择,不是心理学结论2122 |
| 组内归一化让两个提示词贡献相等 | 可验算,而且我们算过了 | 书给的那两组数(8,7,9,8 与 3,2,4,3)可以自己算;★ 但书印出来的那四个优势值(+0.7、−1.0、+1.4、+0.7)加起来是 +1.8,而它们必然加起来为 0——那是书的一处算术错误,我们按机制重算成 0、−1.4、+1.4、0;结论不变28 |
| 「先示范再强化」这条传统受到质疑 | 作者的判断 | 他用的措辞是「casting some doubts」,是一件事引出的怀疑,不是定论31 |
| 数据质量压过算法选择 | 他称之为最稳健的发现 | 书说它在学术基准和工业部署里被反复确认,但没有逐条给出处41 |
| 在线方法一致更好 | 有据(控制实现质量之后) | 书同时给了机制解释(分布漂移)41 |
| 举证责任在复杂度一侧 | 作者的立场 | 他给了论证(每个旋钮都是出错机会),这是论证不是实测42 |
9. 边界与局限
- 代数细节我们只交付结构。 那四个式子(带约束的目标、闭式解、反解出的奖励、最终损失) 书都给全了,我们交付的是「哪一项为什么会消失」。 完整推导请接着读我们书架上那一本44。
- 那三个亲戚(IPO / ORPO / SimPO)书本身就写得短。 我们照它的详略处理, 每一个只交付「治什么病 + 靠什么招 + 代价」,没有展开它们的损失函数。
- KTO 那个参照点的具体算法我们没抄。 书给了式子,我们只交付它为什么必须存在 (没有它,模型能靠「把所有概率一起抬高」蒙混过关)。
- 训练框架的接口细节不在这里。 书给了几段带注解的代码片段, 属于框架的 API,会随版本变;要看接口请查我们的前沿框架书架45。
- 这一章没有回答「训完之后怎么验」。 那是第 10 章整章的事, 而且这一章已经给它 留了一个具体的坑:同分布留出数据会高估实际部署表现。
10. 可带走的
- 上一章那张账单是这一章存在的理由:三个模型 + 一个价值头 + 训练途中生成; 这一章一次性删掉了打分器、价值头和生成;
- 这不是工程技巧,是一次代数上的抵消。 三步: 带偏离约束的最优策略有闭式表达 → 反解出奖励 → 代进成对比较式;
- 那个算不出来的归一化项(要对所有可能回答求和)恰好在相减时消失, 因为它只依赖提示词、不依赖是哪份回答;
- 剩下的东西只要两次前向就能算:当前模型和参考模型各给赢/输两份打的概率;
- ★ 打分器没被消灭,只是变成隐式的:模型自己的概率比就是奖励。 代价是你再也没法单独检查它了;
- 训起来像给它看示范,为示范训练建的设施几乎不用改; 起手值:β = 0.2、学习率 5×10⁻⁶、只训一遍;
- 但参考模型还得养着,显存比示范训练翻一倍——对策是第 12 章那套只训一小块旁路的技法;
- 三个局限:模型做不到的事训不出来;参考模型觉得「几乎不可能」的数据会引发数值不稳; 固定数据之外的情境学不到;
- 冲极限能力时它的天花板更低——天花板由算法定,数据和算力只决定你多快逼近它;
- 不成对的赞/踩数据也能训(KTO),它借的是「损失比收益更显眼」这条行为经济学发现, 所以罚坏输出比奖好输出更重;它必须带一个参照点,否则模型会靠「全体抬高」蒙混过关;
- 拿隐式信号(比如聊天时长)当偏好有风险:聊得久可能是满意,也可能是困惑; 这类假设必须写下来存档;
- ★ 价值头也可以拿掉(GRPO):同一个提示词采几份回答,拿它们的平均分当基线; 再除以组内标准差,难题和易题对梯度的贡献就相等了;
- 组大小 4 便宜噪声大、16 稳但贵,常用区间就是这两者之间;
- 另外三个亲戚各治一病:一边倒的偏好对上梯度无界(IPO)、 参考模型占显存(ORPO 把它彻底删掉)、偏爱短回答(SimPO 按长度归一化);
- 选算法是匹配问题,不是排名问题;四个维度:能不能探索、分布会不会漂、算力、数据要求;
- 最稳健的一条实证结论:数据质量压过算法选择。 但控住实现质量之后,在线方法一致更好——两条要一起记;
- ★ 举证责任在复杂的那一侧。 有成对数据就默认用最便宜那条, 明确失败了才上贵的;每一个旋钮都是一次可能出错的机会。
11. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 两则开场轶事与全章总纲 | DPO: The Reward Model That Wasn’t There(章首) | text/60-fm-dpo-the-reward-model-that-wasn-t-there.txt:5(搜「the relief was near universal」) · :7(搜「Sputnik moment」) · :9(搜「as much about performance」) |
| 中间人为什么不必要 | DPO: The Reward Model That Wasn’t There | text/61-fm-dpo-the-reward-model-that-wasn-t-there.txt:7(搜「introduces computational cost」) · :9(搜「closed-form relationship」) · :11(搜「no generation during training」) |
| 打分器只是变隐式 | Note | text/62-fm-note.txt:3(搜「does not eliminate the reward model」) |
| 闭式解与反解 | Note | text/62-fm-note.txt:11(搜「its invertibility」) · :17(搜「delightful analytical solution」) · :21(搜「this relationship can be inverted」) |
| 归一化项抵消 | Note | text/62-fm-note.txt:35(搜「sleight of hand worth savoring」) · :37(搜「It is the entire reason DPO works」) |
| 训起来像示范训练 · 超参表 | Note | text/62-fm-note.txt:74(搜「There is no generation step」) · :80(搜「Lower β allows the policy to deviate」) · :82(搜「DPO Hyperparameters」) |
| 参考模型让显存翻倍 | FROM THE TRENCHES: KEEPING THE REFERENCE MODEL IN CHECK | text/63-fm-from-the-trenches-keeping-the-reference-model-in.txt:3(搜「effectively doubles memory requirements」) · :5(搜「the base model to be loaded only once」) |
| 三个局限 | FROM THE TRENCHES: KEEPING THE REFERENCE MODEL IN CHECK | text/63-fm-from-the-trenches-keeping-the-reference-model-in.txt:37(搜「4,096-token context window」) · :43(搜「numerically unstable」) · :49(搜「cannot discover how to handle novel situations」) · :51(搜「The solution is coverage」) |
| 冲极限时的天花板 | FROM THE TRENCHES: THE SCALING QUESTION | text/64-fm-from-the-trenches-the-scaling-question.txt:3(搜「does not scale as well as PPO」) · :5(搜「400,000+ GPU-hours」) · :7(搜「the crucial middle」) |
| 不成对数据与前景理论 | KTO: Preferences, All the Way Down | text/65-fm-kto-preferences-all-the-way-down.txt:3(搜「prospect theory」) · :15(搜「losses loom larger than equivalent gains」) · :31(搜「calibration anchor」) · :33(搜「typically set from 1 to 2」) · :41(搜「KTO outperforms because DPO simply cannot be applied」) |
| 隐式信号的风险 | FROM THE TRENCHES: MAN’S SEARCH FOR MEANINGFUL PREFERENCE DATA | text/66-fm-from-the-trenches-man-s-search-for-meaningful-pr.txt:5(搜「confusion, frustration, or distraction」) |
| 组内均值当基线 | GRPO: Pure Reinforcement Learning at Scale | text/67-fm-grpo-pure-reinforcement-learning-at-scale.txt:13(搜「sample multiple completions from the same prompt」) · :19(搜「typically 4 to 16」) · :23(搜「eliminating the value network」) · :43(搜「Prompt A is straightforward」) · :49(搜「Groups of 4 offer efficiency」) |
| 没做示范训练直接强化 | GRPO: Pure Reinforcement Learning at Scale | text/67-fm-grpo-pure-reinforcement-learning-at-scale.txt:9(搜「casting some doubts」) |
| 按难度调整的三条扩展 | DIFFICULTY-AWARE GRPO EXTENSIONS | text/68-fm-difficulty-aware-grpo-extensions.txt:5(搜「a 15-step solution」) · :7(搜 「all bad」) · :9(搜「the learning signal from easy problems is mostly noise」) · :11(搜「14B-scale models」) |
| 三个亲戚 | Beyond GRPO: IPO, ORPO, SimPO, and Friends | text/69-fm-beyond-grpo-ipo-orpo-simpo-and-friends.txt:9(搜「toward infinity」) · :15(搜「caps the gradient signal」) · :23(搜「combines both into a single training stage」) · :31(搜「reduces memory requirements by half」) · :63(搜「length-normalized sequence probabilities」) · :67(搜「a bias toward shorter responses」) |
| 匹配问题 · 四维度 · 对照表 | Choosing Your Weapon | text/70-fm-choosing-your-weapon.txt:3(搜「a matching problem, not a ranking problem」) · :11(搜「why DPO can plateau」) · :15(搜「this gap widens」) · :19(搜「Autoregressive generation is slow」) · :23(搜「A strong reward model suffices」) · :31(搜「A Comparative Overview」) |
| 基准告诉我们的两件事 | Choosing Your Weapon | text/70-fm-choosing-your-weapon.txt:155(搜「data quality dominates algorithmic choice」) · :157(搜「a consistent performance gap emerges」) · :163(搜「The burden of proof should lie with complexity」) |
| 简单是默认 · 混合流水线 | SIMPLICITY AS THE DEFAULT | text/71-fm-simplicity-as-the-default.txt:3(搜「Add PPO only when DPO demonstrably fails」) · :9(搜「iterative DPO」) · :11(搜「an AI evaluator」) |