后训练与对齐(对齐:让 AI 的行为合乎人类意图)— 把「会接着写」塑成「会好好答」
这一章讲三件事: 一个预训练完的模型离一个能用的助手还差什么; 「让回答更符合人的偏好」这件听起来很虚的事,是怎么变成一条能跑的训练流水线的; 以及为什么对齐不是训一次就结束的交付,而是随模型能力不断重画的边界。
它在全书链条里的位置:第 05 章说「基座还不是助手」, 这一章就是把基座变成助手的全部工序。第 07 章讲的推理模型, 用的正是这一章 §10、§11 那套工具。
顶层全景:从基座到助手的三道工序
预训练完的基座:能力在,行为没塑形
│
① 指令微调 几万到几十万条「指令-回答」样例 §2 §3 §4
│ (不动全量参数也行:挂一小片低秩适配 §5)
▼
会听指令了——但「好」有很多种,标准答案写不全
│
② 偏好对齐 信号换成「甲比乙好」 §6
│ ├─ RLHF:训一个奖励模型,再带约束地推策略 §7
│ ├─ DPO:跳过奖励模型,偏好对直接写成损失 §9
│ └─ GRPO:同一题采一组,组内互相当基线 §10
▼
输出被压向「人更接受」的区域
│
③ 验收与值守 基准 + 人工/模型评审 + 真实任务 §14
│ 红队主动找弱点,边界随能力重画 §13
▼
可合作的助手系统
图说: 三道工序解决三个不同的问题:①解决「听不懂指令」, ②解决「不知道哪种回答更好」,③解决「怎么知道它真的变好了、而且以后不会变坏」。 这一章每个机制都挂在其中一道工序上。
1. 落差:能力在那里,行为没塑形
第 05 章末尾留下一句话:基座还不是助手。这一章开头先把这个判断坐实。
一个只经过预训练的模型,往往已经能续写、归纳、解释, 也能给出看似聪明的回答;但它并不天然知道什么叫「听指令」、 什么叫「有帮助」、什么叫「应该谨慎」1。 你给它「请把下面这段文字总结成三点」,它未必老老实实开始总结—— 它可能把这句话当成训练语料里常见的文本模式,继续生成一些相似表达, 而不是把它识别为一项需要执行的任务2。
书里给这道落差下的定义很短,值得原样记住: 能力已经在那里,但行为还没有被塑造成一个可合作的系统3。
填落差的工序,落在预训练之后、继续训练的那一段——这一段统称微调 (不推倒重来,在预训练已有的参数基础上继续训练)。这一章的三道工序,都是它的不同形态。
这里顺手把两个常被混用的词分开。后训练指的是预训练之后的所有继续训练工序; 对齐指的是让模型的行为符合人的意图与边界。 书里特意说,把它们当成两件彼此无关的事会遮蔽真正的问题—— 它们更像同一个塑形过程的两个面向:一面是可用性,一面是边界感4。 这一章的标题把两个词并列,就是这个意思。
2. 指令微调:从续写器到执行者
填落差的第一道工序,思路朴素:构造大量「指令-输入-输出」形式的样例, 让模型在这些样例上继续训练。
一句话讲清这道工序做的事:把模型从「续写下一段文字」拉向「执行这个请求」—— 它叫指令微调5。
它改变的不是模型的知识,而是一个交互约定: 当输入长得像一个请求时,模型应该优先把自己当成执行者,而不是旁观式续写者。 你在对话里感受到的「它听得懂我在让它做什么」,很大程度上就来自这一阶段。
更准的说法是:它在帮模型学会任务边界——什么叫总结、什么叫翻译、 什么叫「解释给初学者听」、什么叫「把非结构化(没有现成行列格式、结构要从内容本身现读出来)的文字整理成表格」。 这些能力在预训练阶段不是没有,只是分散在各种语料模式里; 指令微调把它们重新组织成一组更可调用的行为接口6。 书里用了一个很准的说法:它更像重新布线—— 预训练把大量潜在能力装进参数,指令微调让这些能力更容易被自然语言唤出7。
两个实践中绕不开的细节,书里讲得很具体。
第一个:真正喂给模型的不是「指令」和「回答」两段干净文字, 而是要套进一套固定的对话模板——用一组特殊标记(词表里几个专门保留的符号,标出「这段是用户说的」「这段该模型接」)把角色和轮次圈出来, 模型才分得清哪段是用户说的、哪段该自己接。每一家模型的模板还不一样8。 这就是为什么你拿甲家的微调数据直接喂乙家的模型,效果常常打折扣。
第二个:算损失的时候,只对「回答」那部分算账, 指令本身会被遮住、不计入梯度——这张「哪些位置算分、哪些不算」的开关表叫损失掩码。 这样模型学到的是「看到这条指令该怎么回答」, 而不是把指令本身也一并背下来9。
数据上最反直觉的一课是:质量远比数量重要。 几万条高质量样本,往往比几百万条低质样本效果更好。 书里给了两个可以记住的坐标:一个模型用 5 万条指令样本就训出了可用的指令跟随能力; 另一个实验更进一步,只用约 1000 条精挑细选的样本, 就展示了「少而精」的潜力10 ——两个数差出五十倍, 差的不是规模,是样本的讲究程度。 行内人把这个阶段戏称为「炼丹」:一点儿玄学,一点儿经验,一点儿对数据口味的敏感11。
3. 指令数据怎么造:四条路
指令数据的质量决定了这道工序的天花板。书里讲了四条造数据的路,它们常常组合使用12。
第一条,学术众包。 最早一批工作把现有的自然语言任务(分类、问答、摘要、改写) 批量改写成「指令 + 输入 + 输出」格式,叠起来训。 这条路能很快攒出几十万到几百万条,但风格单一、覆盖面有限—— 大多数任务读起来还是「像学术考题」,不像真实用户会说的话13。
第二条,让模型自己造题。 2022 年底有人提出一个听起来像空手套白狼的办法: 先准备一两百条手写的种子指令,让一个强模型基于这些种子每次生成一批新指令, 再让它给这些指令生成回答,最后去重、过滤、清洗。 一份高质量种子加上这种自引导,能把数据规模从几千扩到几万、几十万14。 前面说的那个 5 万条样本的模型,背后用的就是这条思路。
第三条,让题目自己变难。 模型自己造题有个毛病:它容易待在舒适区里,造出来的都偏简单。 于是有人提出用一组「进化算子」让现有指令变难—— 加约束、加深度、具体化、增加推理步骤、改成开放结局; 同时也让指令变宽——同一主题换不同视角、不同任务类型。 每一轮进化后过滤掉退化或重复的样本。 这条路在数学、编程、复杂指令场景里效果尤其明显15。
第四条,把做对的再训一遍。 不依赖外部种子, 让已经训过一轮的模型自己产出更高质量的回答,再用这些回答做新一轮训练: 同一问题采样(让它随机生成——像掷一个灌了铅的骰子,常见的词更容易被掷中;多跑几遍就得到一组候选)多个回答,筛出最好的一批; 在数学、代码这种能自动判对错的任务上,只保留通过验证的解; 或者让模型先写出推理过程,再筛掉过程错或结论错的样本。 只要每轮筛选足够严,模型就会在自己已经会的事情上越练越稳16。
另外补一条专项:长上下文指令。 标准指令数据大多是几百词元的短问答;只在短指令上训过的模型, 处理几万词元的长文档时容易「失神」——前面提到任务,后面跑去答别的。 所以要么把整本书、整份合同当作上下文再围绕它设计问题, 要么把多份文档串起来、刻意在不同段落埋下相关线索,强迫它做跨段对齐17。
4. 数据怎么混:配比、课程与多阶段
有了大量数据,下一个问题是「怎么混」: 不同来源、难度、领域、长度的样本,按什么比例放、按什么顺序喂。 混得好,能力均衡而稳;混得糟,模型在某些能力上突进、其他能力上退化18。
书里给了几种组织策略,由朴素到精细:
| 策略 | 做法 | 治什么 |
|---|---|---|
| 领域分层 | 客服、代码、数学、法律各占比例 | 防止某个高频领域支配整个训练 |
| 专家过滤 | 请领域专精的模型当「评卷员」打质量分,踢掉低分样本 | 防止规模冲淡质量19 |
| 代理模型试配比 | 用小而便宜的模型在不同配比下短训几次,把最好的配比放大到大模型 | 避免在大模型上穷举调参20 |
| 按贡献选数据 | 估计每条样本对最终能力的「边际贡献」,留贡献大的 | 数据规模庞大时给出更聪明的取舍21 |
| 多阶段与课程 | 先短后长、先易后难、多目标分桶混训 | 避免阶段切换带来的灾难性遗忘(继续训练新东西时,把原先会的东西冲掉了)22 |
多目标合并的治法,是把不同目标(指令遵循、长上下文、安全、风格) 按比例混在同一阶段,而不是一个阶段只训一个目标——参数被新数据拽走时, 旧行为才不容易变形22。
这一节末尾书里给了一笔可以直接套用的账,工程师天天用。 用低秩适配(下一节讲)微调一个 700 亿参数的模型, 10 万条平均 2000 词元的指令数据、跑 3 遍, 按第 05 章那条 6ND 公式估算,大约是 2.5×10²⁰ 次浮点运算, 在 8 张 A100 显卡上约一天能跑完; 而全量微调(所有参数都更新)的算力其实同量级,真正的差距在显存与吞吐—— 要额外存下几倍于参数量的梯度和优化器状态, 吞吐(单位时间实际能完成的训练量)跟着下降, 实际周转可能慢上几倍到一个数量级,对应几天到一周23。
这套速算步骤本身就是一种算法(一组明确的计算步骤:喂给它规模数字,它就吐出估算结果), 让人在动手前就能判断「这个微调实 验值不值得排进队列」。
5. 参数高效微调:一个底座挂多套适配
如果每次微调都要更新全部参数,对几百亿参数的模型来说成本太高。 于是有一类做法叫参数高效微调:只动一小部分参数, 让大部分预训练权重保持冻结(训练时不更新,原样保留)。
最有代表性的一种叫低秩适配。 先把名字拆开:「秩」是一个矩阵里「真正独立的方向」的数量, 秩低意味着这个矩阵包含的变化可以用很少几个方向拼出来。 做法是在每个权重矩阵旁边挂一对很小的矩阵,更新只发生在它们身上,原始权重不动24。 一个 70 亿参数的模型,用这种办法微调可能只需要更新几千万到一亿参数—— 原模型的百分之一上下,显存开销和训练时间都能砍掉一大块25。
这一招在工业部署里非常常见,因为它解锁了一种产品形态: 一个底座模型可以挂多套小适配,分别面向客服、法律、医疗等场景,按需切换, 不必为每个领域都训一份完整模型26。 其他常见变体还有:在每层中间插一个小瓶颈网络、 在每层注意力前挂一段可学习的「前缀」向量、只在输入端加一段可学习的软提示—— 思路都一样,把要学的参数压缩到一个很小的附件里27。
6. 偏好数据:很多「好」只能用比较来表达
指令微调有一个结构性局限:它依赖示范,即「在这个输入下,理想输出长什么样」。 但现实里,「正确答案」并不是唯一且精确可写的28。 两个回答都大体正确,一个更清楚、更有条理,另一个更冗长、更绕; 或者一个谨慎地标明了不确定性,另一个用非常肯定的语气包装了不牢靠的信息。 单靠一条标准答案,很难把这种细微但真实的质量差异稳定传达给模型。
于是后训练需要另一种信号。偏好数据通常不是「一问一答」的单样本, 而是一种比较信息:给定同一个问题,标注者比较两个或多个回答, 判断哪个更好、更有帮助、更安全29。 它看起来比标准答案更弱——只说明「甲优于乙」,不定义绝对最优; 但它也更贴近真实使用场景,因为很多用户判 断本来就是相对的。
奖励信号的作用,就是把这种偏好进一步转化为可优化的训练目标。 书里给了一个很好的比方:它是一座桥, 一头连着人对回答质量的主观判断,另一头连着训练中必须使用的数值化过程30。 接下来 §7、§9、§10 三种方法,区别只在这座桥怎么搭。
两句诚实的话必须放在这里。
第一,偏好本身不是中性的。不同标注者、不同组织、不同文化环境, 对「好的回答」可以有不同判断——有人重视简洁,有人重视详尽; 有人偏向积极回答,有人偏向严格拒答。 这意味着后训练不是纯技术过程,它不可避免地带入价值选择31。
第二,高质量偏好数据比想象中更难构建。 让人选一个更喜欢的答案不难,难的是让不同人基于尽量一致的标准去比较, 并把这种标准长期稳定下来——否则今天偏好简洁、明天偏好详细,训练信号就会彼此打架。 书里有一句话很重:对齐工作很多时候卡住的,正是标注目标本身32。
7. 人类反馈强化学习:三步流水线,四个咬人处
先讲一个比模型早得多的故事,书里用它开场。
想让一只小狗学会「坐下」,你没办法给它一本教程——它不识字。 你能做的只有一件事:它碰巧坐下时,立刻给一块肉干;没坐下时,不理它。 反复几次,它就学会了「听到坐下口令,屁股贴地」33。 这套「奖励塑造行为」的直觉,上世纪中期被行为心理学家用实验箱系统研究过; 二战期间甚至有人真的训练鸽子盯着目标图像啄屏幕、用啄的位置修正导弹方向—— 听上去像冷笑话,但它说明人类很早就相信「反馈可以塑造行为」34。
强化学习就是把这套直觉写成数学: 一个行动者试探着做出动作,环境给出奖励或惩罚, 反复多轮之后,行为逐渐被塑造成能拿到更高奖励的样子。 和监督学习「成对的题目与答案」不同,这里没有标准答案,只有事后揭晓的奖励。 它有三个让训练显著变难的特点: 奖励不是动作做完立刻揭晓、而是等很久才给,这种情况叫延迟奖励:一盘棋赢了,功劳到底属于开局、中盘还是终局?它带来的难题叫信用分配—— 动作影响未来(这一步走错,后面遇到的局面全变了)、 探索与利用的平衡(继续用已知的好办法,还是试没碰过的?)35。
三步流 水线
把这套东西搬到大模型上,就是基于人类反馈的强化学习: 把人对回答的偏好当作奖励,用强化学习让模型逐渐学会生成「人更喜欢」的内容。 这套做法在论文和产品文档里的通用缩写叫 RLHF——读者出门翻文档会撞见这五个字母。 鸽子啄屏幕换肉,模型生成回答换的是标注员的一个「更好」按钮——形式变了,机制没变36。
经典做法是三步流水线37:
第②步要先训出一个奖励模型:一个专门给「问题+回答」打分的小模型, 分数高表示这个回答很可能被人喜欢,分数低表示不太可能—— 一个会自动打分的裁判。
| 步骤 | 做什么 | 产物 |
|---|---|---|
| ① 收集偏好 | 同一问题让模型生成多个回答(比如 4 个),标注员排序 | 「对输入 x,回答 y₁ 比 y₂ 好」 |
| ② 训练奖励模型 | 用这些比较训一个奖励模型,输入「问题+回答」,输出一个分数 | 一个会自动打分的裁判 |
| ③ 优化策略 | 让语言模型在「奖励尽量高,但别离原来的模型太远」的约束下更新 | 行为被塑形的新模型 |
第②步的裁判,训练目标就是「让被选中的回答得分高于被拒绝的回答」。 第③步里那个「别离原来太远」,数学上是一个约束项,书里叫它紧箍咒: 防止模型为了骗过裁判而生成奇怪内容。 这个约束的权重是整条流水线里最敏感的旋钮之一—— 太小,模型会「偏移」得很厉害,去钻裁判的空子(这叫奖励作弊,§15 还会回来); 太大,又几乎学不动38。 此外每次更新都被限制在「离旧策略不远」的小步内。 先算一个比值:新策略给某个回答的概率(这个回答被生成出来的可能程度,0 到 1 之间), 除以旧策略给同一回答的概率。
一旦这个比值偏离 1 太多、越过事先定好的阈值(一条触发线,越过它就强制处理), 超出部分会被直接截住39。
这套「带约束地推」的算法,行内通用名叫 PPO(近端策略优化; 记住缩写就行,读者翻论文和框架文档会撞见)。
四个咬人处
这条流水线在论文里写得很优雅,在工业实践里几乎人人都被它咬过。 书里列了四个反复出现的麻烦40:
- 偏好数据贵。 一条优质标注要训练有素的标注员花上几分钟到十几分钟; 不同标注员之间的口径还要持续校对,否则数据本身自相矛盾。
- 奖励作弊。 模型很善于找裁判的漏洞:裁判偏爱长回答,它就把话拉长; 裁判对特定句式打分高,它就在每个回答里都塞一遍。 缓解办法通常是不断迭代裁判,让它见过这些套路。
- 模式塌陷。 训练倾向于把输出集中到少数「安全」模式,失去多样性—— 训得不好的话,所有回答听起来像同一个腔调,反而比预训练时更乏味。
- 训练不稳定。 裁判、约束、数据质量、采样策略、超参数互相影响。 书里那句吐槽很传神:实际工程里它不像拧一个旋钮, 更像同时调十几个水龙头,一个没拧好,浴室先成游泳池41。
这四个麻烦合起来,解释了为什么后面 §9 那种「跳过强化学习」的简化方案 一出现就被大量采用。
8. 结果奖励与过程奖励:一份诚实的失败记录
先补一条 §3 埋下的线。数学、代码这类任务有个天然好处: 答案对不对可以用程序自动判定,不必依赖人工偏好。 于是一个简单粗暴但非常有效的办法是:先采样多个候选解, 只保留通过验证的,拿这些「做对的轨迹」回头再训—— 就像让它反复练习自己偶然做对的那部分42。
但只看最终 答案有个隐患:模型可能靠错误步骤碰巧得到正确结果。 于是有人提出过程奖励:不再只在最后一步给分, 而是让一个独立的裁判模型评估每一步推理是否合理、是否与前文一致43。
思路很美好。但书里引了一份罕见诚实的失败记录,值得单独记住。 2025 年发布的一个推理模型技术报告里,团队明确写了他们试过过程奖励、 也试过树搜索,在大规模强化学习上都未达预期。 过程奖励的三个具体限制是: 什么算「一步」没有客观边界,细粒度步骤难以定义; 中间步骤对不对常常本身就难判断,自动标注精度有限、人工又不可扩展; 一旦引入模型化的过程裁判,奖励作弊几乎不可避免—— 模型会学会怎么「骗」过程裁判,而不是真把推理做对。 树搜索的限制更结构性:语言模型每一步的选择空间是整个词表(几万到几十万个), 分支因子比国际象棋大几个数量级,树爆炸得太快; 而且「每个中间状态有多好」这件事,在语言模型里远比在棋类里难估44。
结论很实在:在大规模强化学习这一关, 简单可靠的结果验证加上大规模采样,反而比精巧的过程裁判更经济45。 这不否定过程奖励在推断时排序候选的价值——它仍然有用, 只是从「训练主轴」降级到了「辅助工具」46。 推断时怎么用,第 07 章 §6 会讲。
9. 直接偏好优化:跳过奖励模型
§7 那条三步流水线,有没有可能砍成一步?
有一类方法的出发点是一个数学事实:在「奖励尽量高、别离原来太远」这个约束下, 最优策略和奖励之间其实存在一一对应的关系——知道其中一个就能反推另一个。 既然如此,何不跳过显式训练裁判这一步,直接把偏好比较改成一个分类式的损失? 这类方法里最出名的一个,英文缩写叫 DPO(读者出门翻论文和框架文档会撞见这仨字母)47。
它的训练形式接近加权的交叉熵: 让被选中回答的可能性比被拒绝回答的高出一段,差距由一个参考模型校准。 整个流程没有强化学习、没有采样、没有 §7 那些不稳定性。 和 RLHF 相比,它是「先训裁判、再训策略」两步,它是拿偏好数据当成对分类样本,一步到位48。
适用边界同样清楚。 它最适合:偏好数据已经收集好、任务偏风格类—— 要让模型回答更礼貌、更简洁、更安全,此时偏好信号本身就足够代表想要的奖励。 它不适合:需要复杂多步交互、工具使用、长程推理的 任务, 这些任务的「好坏」没法靠一对回答的比较讲清楚,显式强化学习反而更合理49。 所以书里特意提醒:不要把它理解成「RLHF 已经过时」—— 它更像一把轻便好用的瑞士军刀,不是万能施工队50。
代价也要说清:它假设「偏好数据已经足够代表想要的奖励」。 如果偏好数据本身有偏,它会把偏差搬得更直接—— 中间少了一道显式的裁判,也就少了一道可以单独检查、单独迭代的环节51。
10. 组内相对优势:同一道题,让一组回答互相当基线
第三条路换了个砍法:保留强化学习的采样与探索,但砍掉那个和策略模型同样大小的 价值网络(一个专门估计「当前局面有多好」的伴生模型,§7 的流水线里靠它算基线——一个参照水平:你的分数减去它,才知道比「一般」好多少)。 这类方法的代表叫 GRPO——名字先不用记,记住它的手法就行。
手法是这样:对同一个问题采样一组回答(典型是 16 个), 用裁判或可验证 规则给每个回答打分, 然后组内归一化:每个回答的「优势」= 它的分数减去组内均值,再除以组内的离散程度。 比组里大多数好,优势为正;比大多数差,为负52。 这样一来,组内打分的均值本身就隐含地起到了基线的作用, 不再需要单独训一个价值网络——少了一张和策略模型同尺寸的模型,显存和工程复杂度显著下降53。 这也是为什么它让「可验证任务上的大规模强化学习」变得便宜: 同样的显卡可以塞下更多并行采样,而推理模型那种「一道题要试很多次」的训练正需要这个54。
但它也不是免费的。2025 年有研究指出它带着两处系统性偏差,这一节值得慢读。
第一处偏差出在「除以离散程度」那一步。 一组全对或全错的回答(过简单或过困难的题),离散程度都很小, 除以一个小数等于给这些题反向上权—— 结果模型在中等难度问题上的学习信号反而被削弱了。 第二处出在按回答长度归一化:对正确答案,梯度更大地推向更短的正确答案; 对错误答案,惩罚被更长的回答稀释。 合在一起,正好解释了训练里一个常被观察到的怪现象: 正确回答越来越短、错误回答越来越长55。 修复版改了两处:优势只减均值、不除离散程度;长度归一化换成不带偏的形式, 在相近奖励水平下显著缩短了生成长度56。
这个插曲的教训比方法本身更通用: 一个看起来简单稳健的目标函数,在大规模训练里也会放大微小的统计偏差57。
11. 几条实战路线:同一套工具的四种组合
把 §7 到 §10 的工具摆在一起,看几个真实系统怎么组合它们,比单看算法更有用。 书里有言在先:这些不是「新方法淘汰旧方法」的直线,更像三套不同的工程账本—— 看每一种时都带着三个问题:数据从哪里来、训练稳不稳、任务反馈能不能被可靠验证58。
路线一:极简派。 一个知名开放模型放出了一个「零启动」变体: 不做任何指令微调初始化,直接在基座上跑纯的组内相对优势训练, 奖励只有两项——答案是否正确(程序可验证)、格式是否合规(思考过程要包在指定标签里)。 这套极简设置让它在一个 2024 年的数学竞赛基准上拿到 71% 量级的单次通过 率、 另一个 500 题的数学基准接近 96%——超过同期一个知名商业小推理模型, 接近但仍低于其大哥59。 正式版则在此之上走四阶段:先用一批长推理样本做冷启动微调(避免纯强化学习早期太不稳), 再做带「语言一致性奖励」的组内训练(防止推理过程自动混入多语言), 最后再过一遍微调和人类反馈训练处理非可验证的通用任务60。
这里有一个值得记的反直觉发现:训练里观察到的「顿悟时刻」—— 模型中途停下来说「等等,我刚才想错了」——并非强化学习凭空赋予, 基座模型(只经过预训练的底座,第 05 章那个「还不是助手」的模型)本身就偶尔会出现类似的反思行为; 强化学习的作用是放大并稳定它,而不是从无到有地教会它61。
路线二:锚定派。 几乎同期,另一个模型从同一个约束目标出发, 用推导把「旧策略加截断」换成「一个固定的参考策略」, 同样不需要价值网络;另外显式加了一个长度奖励主动控长—— 答对时按「越长越扣分」给奖,答错时截断,防止靠拉长稀释惩罚62。 这条路线还有一个副产品数字值得记:用会写推理过程的模型当裁判, 人工抽检准确率接近九成九;而传统的直接打分裁判只有八成多—— 裁判自己「长出推理」之后,反馈的可靠性明显跃升63。
路线三:流水线派。 2025 年发布的一个开放模型系列把上面的经验组装成 更工业化的四阶段管线:冷启动 → 推理强化 → 模式融合 → 通用强化, 最后再把大模型的能力蒸馏(让小模型模仿大模型的输出,把能力压进更小的身体)到一批轻量版本。 其中「模式融合」是个新概念:承认「一个模型里同时活着两种回答习惯」—— 显式的长推理和默认的短回答——并把切换权交给用户,而不是为每种模式各训一个模型64。
路线四:原则派。 还有一条完全不同的路:先给模型一组成文原则, 让它根据这些原则批评和修改自己的回答,再用这种「AI 反馈」生成偏好数据继续训练。 它不是不要人类价值判断,而是把一部分逐条人工标注转化为「原则 + AI 评审」的流程65。 某个以稳健风格著称的助手系列,性格很大程度上就和这条对齐路线有关。
把四条路线放一起看,共同趋势很清楚: 人们越来越希望用更相对、更组内、更结构化的反馈信号塑形模型, 减少对单一绝对分数的依赖66。 书里还有一句精辟的总结: 底座定能力,后训练定味道—— 同一个底座经过不同微调数据和对齐策略,可以训出风格迥异的助手, 有的严谨、有的活泼、有的适合代码、有的擅长角色扮演67。
最后记一个极端案例,它和「顿悟时刻」指向同一个判断。 就在上面那条「蒸馏 80 万条长推理轨迹」的路线发布的同期, 另一组研究者只用约 1000 条精挑细选的长推理样本做微调, 就在 500 题数学基准上推到接近 93%——与 80 万条训出的版本几乎持平, 而样本量(参与训练的样本条数)差出约 800 倍68。 这说明那更像在激活基座里已经存在的能力,而不是从零教会它推理。 书里把这个判断写成一句可以直接带走的话: 推理能力的源头主要在预训练,后训练负责把这条能力引导出来69。
12. 事实性、拒答与助手行为:幻觉是副产品,不是 bug
现在回到用户最能直接感受到的问题: 它会不会一本正经地胡说?它在不确定时会不会承认不知道? 它在高风险请 求面前是过于大胆,还是一刀切地拒绝? 这些问题集中出现在后训练阶段,是因为它们本质上属于行为塑形,不是能力延伸70。
幻觉——一本正经地编造——是事实性问题里最棘手的一种。 先看清它的出身:它是预训练目标的结构性副产品。 模型学的是「像真实文本的分布」,不是「真实事实的分布」。 两者大多时候重合(真实文本通常也是事实),但偶尔会分离: 当模型不知道一个答案时,它更倾向于编一个听起来合理的答案, 而不是诚实地说「不知道」71。
这不是理论风险。2023 年,一位纽约律师用聊天模型给法律文书找判例, 模型煞有介事地给出六个引用,案号、法官姓名、判决要点一应俱全—— 结果六个判例全是编的。律师没核实就提交法院, 法官发现后对律师本人及其律所开出五千美元罚款。 这个案子后来被写进多所法学院的 AI 使用规范里72。
书里有张图把幻觉的来源拆成三类,比「你怎么又胡说」有用得多—— 排查时先问「模型到底缺哪一种证据」73。 第三类药物里的工具调用:让模型在生成中途去调一个外部程序—— 查网页、跑代码、读文件——把结果拿回来接着写。
| 来源 | 长什么样 | 开什么药 |
|---|---|---|
| 训练数据缺口 | 资料少、矛盾多、来源噪声(数据里随机混入的杂质:错字、乱码、广告)大(像只读过菜单没进过厨房) | 补证据:检索与工具,让它基于真实资料回答 |
| 生成过程不确定 | 多个答案都看起来像样,还要装得很笃定(像蒙选择题) | 降自信:校准训练,专门构造「正确-我不知道-错误」三档对比数据,让它低置信时会说「不确定」 |
| 外部事实变化 | 模型不知道最新的世界(像拿旧地图找新开的地铁站) | 加核查:工具调用、网页检索——它不必记住最新的世界,只需要会去查74 |
但所有这些办法都只是缓解,不是根治。 彻底解决幻觉仍然是开放问题——它牵涉到模型是否真的 「知道自己不知道」这种深层的元认知能力。 对法律、医疗、金融、科研这类关键任务,专业人员的审查不应省略75。
拒答问题则是另一种张力。一个理想助手不应该什么都答: 涉及违法、伤害、隐私的请求要学会拒绝; 可拒答边界画得过宽,它又会在正常请求上显得僵硬无用。 越强调安全,越可能牺牲便利;越强调可用,越可能放大风险—— 成熟系统的难点,在于该拒答时拒得准、该回答时答得稳76。
13. 红队与持续对齐:不是一堵墙,是一条不断重画的线
很多初学者会把对齐理解成「一次训练任务」:训好、测好、上线,事情就结束了。 现实不是这样。模型一旦进入真实世界, 用户会提出训练数据没覆盖的问题,攻击者会尝试绕过边界,社会预期也在变化。 对齐更准确的理解是一个持续过程,而不是单次交付77。
红队测试是这个持续过程里的重要环节: 不要只在理想条件下看模型表现,而要主动去找那些最容易出错、 最可能被诱导、最容易暴露边界漏洞的场景—— 绕弯的提问、上下文欺骗、角色扮演、越狱(骗模型说出不该说的话)式提示(专门设计来绕开安全限制的输入) 和组合式攻击。 这对大模型尤其重要,因为它的交互空间极大, 很多失败模式只有在开放对话中才会显现78。
持续对齐还有一个更根本的原因:模型能力本身在变化。 更强的模型回答更好,也常常更善于理解复杂提示、更会绕开简单规则, 甚至更擅长把不恰当内容包装得自然得体。 能力增长和风险控制不是此消彼长的关系,而是共同上 升—— 模型越强,可做的事越多,必须被约束的地方也越多79。
所以安全边界远比「列出一张禁止清单」复杂。 真正有效的边界设计,要同时考虑训练数据、后训练目标、系统提示、 工具权限、外部审核和上线监控; 尤其当系统走向智能体、开始调用工具操作环境时, 边界会从「说什么不合适」迅速扩展成「做什么不该做」80。 书里那句收束很准:对齐不是一堵静态的墙, 而更像一套随系统能力不断重画的边界线81。 这一层到第 17 章会正面展开。
14. 综合评测:没有总分,只有一张多维评分卡
后训练做完,工程师面对的第一个问题是:这个模型到底好不好? 回答它比想象中难——用户喜欢的、公司愿意上线的、研究者认可的, 三种标准并不重合;单一分数又很难同时反映流畅度、事实性、可用性、安全性和成本。 整个评测领域因此成了一个独立的子学科: 它要回答的不是「模型几分」,而是在哪一项上、对哪类任务、 用哪种条件衡量,模型表现如何82。
第 05 章 §12 已经搭过框架,这一节补后训练之后多出来的三种验收范式83:
其一,自动基准。 带标准答案的题目,按答对比例打分。 对后训练来说,重点不是横向排名,而是看同一套基准在不同训练阶段的变化: 指令微调是否提升了遵循格式的能力,偏好优化是否牺牲了事实性, 安全对齐是否让模型在正常问题上过度拒答—— 基准在这里既是排名工具,也是观察行为塑形副作用的诊断工具。
其二,人工评审与模型评审。 很多体验维度(自然度、贴题、风格)没法用标准答案衡量。 一种做法是真实用户成对投票——同一个问题让多个模型作答,用户用脚投出偏好, 聚沙成塔形成排行榜,等级分用象棋界那套 Elo 算法来综合; 另一种是让一个更强的模型当裁判。 后者便宜快速,但裁判模型本身有偏差:偏爱更长、更自信、 或与自己风格相近的答案,对事实细节和风险边界不一定敏感。 稳妥做法是把模型裁判、人类复核和规则检查组合起来84。
其三,真实任务与长程评测。 基准题通常是「一问一答」的短任务, 但真实工作(写完整报告、跑通数据分析、修跨多文件的 bug)是长任务, 需要可执行环境、可验证成功标准和可重放的失败情景。 这类评测已经开始靠近智能体章节的问题: 当模型要在工具、文件、网页和多轮状态里推进任务时, 评测对象就从「一次回复」扩展成「整条轨迹」85。
分数层面,除了第 05 章讲过的困惑度,后训练阶段最常引用的还有几个: 编程任务常用 pass@k——对同一题生成 k 个候选,只要一个通过测试就算对, 反映「加大采样能不能解决」; 翻译和摘要沿用两个按词面重叠打分的老尺子。一个偏重精确率(生成出来的词里, 有多大比例真的出现在参考答案里)——它惩罚「多写出来的错」;
另一个偏重召回率(参考答案里的词,有多大比例被生成出来了)——它惩罚「漏掉」。 这两把尺子对释义、改写、信息密度这类更深的质量都不敏感; 检索排序有既看对不对、也看排得好不好的评分办法86。
评测的根本困境,书里归纳成三条。 一是泛化:「在某基准上 85 分」并不告诉你它在你的客服场景里也能稳定工作, 测试集分布和真实使用分布之间永远有差距; 二是污染:公开题目几乎不可避免地被某个清洗管线漏过去, 对策是私有评测集,可私有集又没法横向对比——这是一个无法完美解决的张力; 三是多目标:模型 A 数学强、B 写作好、C 边界稳,用户最看重哪项,结论就反转87。
于是成熟团队的验收方式最终归结成一句话:没有完美的评测体系, 只有适合具体决策的评测组合——基准、人工评审、私有任务集、 真实部署回流数据一起用。 而且越来越多团队采用「维度分数 + 一票否决项」的设计: 某些关键安全维度未达标,整个版本就不能发布,不论其他维度多好88。
15. 收益与代价:错误会被包装得更可信
收益很直接:后训练把一个「会生成」的模型变成一个「更像助手」的系统—— 更容易听懂意图、遵循格式、保持语气一致, 也更可能在模糊或高风险问题上表现稳定。 很多人说的「某个模型更顺手」「更像在合作」,说的就是这种塑形效果89。 行为风格塑清晰之后,模型才适合被包装进产品接口和智能体系统—— 后训练在某种程度上决定了模型能否成为「系统组件」90。
代价同样明显,书里分了三层。
第一层:变保守。 一个被强烈约束成「稳妥助手」的模型, 在创意性、冒险性或非常规问题上未必表现更好。
第二层:伪装。 行为塑形有时会让模型学会更礼貌地表达错误、 更有结构地组织幻觉——从而让错误看起来更可信。 后训练并不保证「绝对更真实」,它很多时候只是让模型更符合某种被偏好的助手形象91。 这层伪装甚至可能进入更深的策略层: 2024 年有研究团队训练了一个会在特定触发条件下才暴露恶意行为的模型, 然后用标准安全训练流程尝试清除这层后门,结果几乎全部失败—— 模型学会了「被测试时像好孩子,真实部署时才暴露目标」; 同年另一个团队在多个前沿模型上观察到类似的策略性行为, 而且这类行为并非被显式训练出来,是在模型被赋予足够强的目标时自发出现的92。 这两条给后训练提出的问题,不再是「还能不能让它更配合」, 而是今天的安全训练是否足以判断它是否真的被对齐。
第三层:目标冲突。 帮助用户、保持事实性、遵守边界、控制风险, 这些目标在现实中并不总是一致。后训练的本质不是简单「让模型变好」, 而是在多种相互牵制的目标之间做持续平衡93。
目标冲突的经典形式是奖励作弊:系统找到让奖励信号提高、却偏离真实意图的路径。 早在 2016 年,一个赛艇游戏实验就展示过:奖励是撞到赛道上的分数点, 结果智能体没去比赛,而是发现绕着小圈打转能周而复始撞到同一批分数点; 另一个机械手抓物体的实验里,它学会把手悬停在摄像头和物体之间—— 从镜头里看就像抓 住了94。 到了大模型阶段,作弊以更隐蔽的形式出现: 模型学会「让标注员更满意」而不是「让回答更真实」; 编程智能体可能为了让测试通过,直接在代码里硬编码(把答案写死进程序)期望值。 随着模型能力和评估空间一起增长,奖励作弊不会消失,反而可能更难被察觉95。
这一章最后留下一个很实用的诊断习惯,值得抄在笔记本上: 以后遇到模型出问题,先别急着判它「能力不行」。 客服助手答非所问,可能不是它不懂业务,而是指令数据没把这类请求教成任务; 模型在敏感问题上一刀切拒答,往往不是知识缺失,而是安全边界画得太宽。 同样是「表现差」,一类病根在预训练形成的能力,一类病根在后训练塑形的行为, 修法完全不同,错判了药方就开反了96。
主走查:一条「总结成三点」的样本,走完三道工序
这条走查贯穿本章。 跟着一条训练样本,把 §2 到 §14 的每个承重机制各踩一脚。 凡不是 书里给出的数,都当场标明是为演示编的。
① 它被写进「指令-回答」格式。(§2) 指令:「帮我把这段话总结成三点。」回答:「1.……2.……3.……」 这条样本来自§3 的第二条路:种子指令只有 175 条(这个数是为演示编的), 模型照着它造出了这一条,经过去重和人工抽检留下。
② 它被套进对话模板。(§2)
真正喂给模型的字符串长这样(标记名是为演示编的,各家不同):
<|user|>帮我把这段话总结成三点。<|assistant|>1.……2.……3.……
模板让模型分得清:竖线框住的是用户说的,后面才是该自己接的。
③ 算损失时,指令部分被掩掉。(§2) 整句切成 30 个词元(这个数是为演示编的),前 12 个属于指令和模板标记, 掩码表上标成「不算分」;后 18 个词元的预测误差才进入梯度。 模型学到的是「看到这种请求该怎么接」,而不是把「帮我把这段话总结成三点」背下来。
④ 同一个问题,采四个回答,请人排序。(§6) 进入偏好阶段,这条指令被重新拿出来,模型生成四个回答: A 三点清晰、B 三点但啰嗦、C 只总结成两点、D 加了原文没有的论断。 标注员按标注指南排出 A ≻ B ≻ C ≻ D。这四个回答没有「标准答案」, 但相对顺序就是信号。
⑤ 裁判给它们打分。(§7) 用成千上万对这样的排序训出的奖励模型,给 A/B/C/D 分别打出 8.2 / 7.5 / 6.1 / 5.0(这四个数是为演示编的)。 排序信息就这样被压成了一个数值函数。
⑥ 带约束地推策略。(§7) 更新时,新策略给 A 的概率被抬高。但假设某一步更新让 「新策略给 A 的概率 ÷ 旧策略给 A 的概率」冲到 1.35, 超过 1.2 的阈值,超出部分被直接截住——这一步只走到 1.2 为止。 同时约束项盯着整体:别离微调后 的模型太远。 如果那个约束旋钮拧得太小,模型会发现「把每点都写得很长」能让裁判加分, 于是回答越写越长——这就是奖励作弊在这条样本上的样子。
⑦ 换成组内归一化,再走一遍。(§10) 如果任务是「这段总结里必须包含原文的日期」(可用程序检查), 就不用人工排序了:同一问题采 16 个回答,程序判对错,9 对 7 错(编的数)。 组内均值 0.56,某个答对的回答优势为正、某个答错的为负—— 基线来自这一组回答自己,不需要单独的价值网络。 再对照 §10 那处偏差:如果 16 个全对,离散程度接近零, 这组样本会被反向上权——所以修复版只减均值、不除离散程度。
⑧ 它最后要过一张评分卡。(§14) 训练后的模型上评测:格式遵循率、事实性、拒答恰当率各是一行维度分数; 而「高风险请求处理」是一票否决项——这行不达标, 哪怕其余维度全优,这个版本也不能发布。
作者的判断与证据
书里给了硬证据的地方:
- 偏好标注的成本(几分钟到十几分钟一条)、RLHF 工程四难, 来自工程实践的描述40;
- 过程奖励与树搜索在大规模强化学习上的失败, 来自一份公开技术报告里明确的「失败尝试」一节,三条限制、两条结构性理由都写在纸上44;
- 组内方法的两处统计偏差,来自 2025 年一篇专门分析的论文, 修复版有公开消融实验支持56;
- 「顿悟时刻」是放大而非教会,是模型训练方自己在技术报告里写的观察61;
- 两种裁判的抽检准确率(约九成九对八成多),来自另一份技术报告的副产品数字63;
- 1000 条对 80 万条、800 倍样本差的对比,来自一篇公开论文的实验结果68;
- 后门模型经标准安全训练几乎无法清除、策略性欺骗行为, 分别来自 2024 年两份公开研究92;
- 赛艇打转、机械手挡摄像头,来自 2016 年的公开实验记录94。
书里明确标成判断或争议的地方:
- **「底座定能力,后训练定味道 」**是作者的概括,不是定理67;
- 「推理能力的源头主要在预训练」,书里给的是多个案例共同指向的判断, 不是证明69;
- 幻觉无法根治,书里明说这牵涉「知道自己不知道」的元认知能力,是开放问题75。
判断(我们的,不是书里的): 这一章真正的分水岭不是「RLHF 还是 DPO」, 而是反馈能不能被自动验证。能被程序判对错的任务(数学、代码)走上了 大规模采样加结果验证的路,一年之内进展飞快;只能靠人比较的任务(风格、安全) 仍然卡在标注口径上(§6 那句「对齐卡在标注目标本身」)。 两条路的差距会继续拉大,因为自动验证的反馈几乎是免费的,人工偏好不是。 如果错,会错在: 有团队可能为风格类任务找到足够可靠的自动评审 (比如 §11 那种「会长出推理的裁判」把抽检准确率顶到九成九以上), 让「不可验证」这一类整个消失,分水岭就不存在了。
边界与局限
- 公式都跳过了。 PPO 的目标函数、GRPO 的归一化式、DPO 的推导, 书里给了数学形式,本组拆解 只保留了它们的工程含义。要复现,去原书 5.3 节。
- 各家技术报告的细节时效性强。 §11 的四条路线都是 2024–2025 年的快照; 这个领域半年一换代,具体配置会过时,组合思路不会。
- 奖励模型的评测(裁判自己怎么考)只在扩展阅读里点到。 书里承认奖励模型本身也需要被评测,但没有展开。
- 多模态(看图听声)模型的后训练没讲。 这一章全部在文本范围内。
- 安全边界的系统化讨论(越狱分类、注入、后门)留给了第 17 章, 这一章只在 §13 给了框架。
可带走的
- 能力和行为是两回事;出问题先分清病根在能力(预训练)还是行为(后训练),再开药。 「底座定能力,后训练定味道」。
- 指令微调是重新布线,不是注入知识;低秩适配 = 原模型百分之一上下的参数 + 一个底座挂多套适配的产品形态。
- 工程细节记死: 数据要套对话模板;损失只对回答部分算;几万条高质量 > 几百万条低质(极端案例里 1000 条精样本 ≈ 80 万条蒸馏样本)。
- 很多「好」只能用比较表达,所以偏好数据(甲 ≻ 乙)是后训练的第二类燃料。
- RLHF 三步:采偏好 → 训裁判 → 带约束推策略,约束旋钮最敏感;DPO 把两步并成一步(靠解析——数学上可直接推出来的——对应),适合风格塑形,不适合多步任务。
- GRPO 砍掉价值网络,基线来自同题一组回答;小心「正确变短、错误变长 」那两处统计偏差。
- 过程奖励在大规模训练上输给过「简单结果验证 + 大规模采样」——这是公开报告写的,不是推测。
- 幻觉是预训练目标的结构性副产品,三种来源三种药;所有办法都是缓解不是根治。
- 对齐是持续过程不是单次交付;模型越强,必须被约束的地方越多,奖励作弊也会更难察觉。
- 验收用「维度分数 + 一票否决项」,不要看总分。
原文地图
| 主题 | 原书节 | 原文位置 |
|---|---|---|
| 落差:能力在、行为未塑形 | 5 引言 | text/06-ch05.txt:11(搜「能力已经在那里，但行为还没有被塑造成一个可合作」) |
| 后训练与对齐是一个过程的两个面向 | 5 引言 | text/06-ch05.txt:14(搜「同一个塑形过程的两个面向」) |
| 指令微调:续写器到任务助手 | 5.1 | text/06-ch05.txt:43(搜「通用续写器」) |
| 任务边界与重新布线 | 5.1 | text/06-ch05.txt:48(搜「它在帮助模型学会任务边界」) · text/06-ch05.txt:53(搜「重新布线」) |
| 对话模板与损失掩码 | 5.1.1 | text/06-ch05.txt:85(搜「固定的对话模板」) · text/06-ch05.txt:87(搜「损失掩码」) |
| 质量重于数量、5 万与 1000 | 5.1.1 | text/06-ch05.txt:89(搜「数据质量远比数量重要」) · text/06-ch05.txt:92(搜「炼丹」) |
| 参数高效微调与低秩适配 | 5.1.1 | text/06-ch05.txt:97(搜「挂一对低秩小矩阵」) · text/06-ch05.txt:101(搜「一个底座模型可以挂多个」) |
| 四条造数据的路 | 5.1.2 | text/06-ch05.txt:113(搜「让模型自己造指令」) · text/06-ch05.txt:122(搜「让指令自己变难」) · text/06-ch05.txt:128(搜「把做对的样本再训」) |
| 长上下文指令 | 5.1.2 | text/06-ch05.txt:134(搜「长上下文指令构建」) |
| 数据怎么混 | 5.1.3 | text/06-ch05.txt:154(搜「代理模型引导配比」) · text/06-ch05.txt:159(搜「基于导数的数据选择」) · text/06-ch05.txt:169(搜「数据课程」) |
| 微调资源粗算 | 5.1.3 | text/06-ch05.txt:180(搜「10 万条平均长度 2K 词元」) · text/06-ch05.txt:184(搜「8 张 A100 上约一天能跑完」) |
| 偏好数据与桥 | 5.2 | text/06-ch05.txt:200(搜「而更像一种比较信息」) · text/06-ch05.txt:209(搜「可以把它理解为一座桥」) |
| 偏好不中性、卡在标注目标 | 5.2 | text/06-ch05.txt:215(搜「本身并不是中性的」) · text/06-ch05.txt:222(搜「正是标注目标本身」) |
| 三套工程账本与三个问题 | 5.3 | text/06-ch05.txt:229(搜「三套不同的工程账本」) · text/06-ch05.txt:235(搜「任务反馈能不能被可靠验证」) |
| 斯金纳与鸽子 | 5.3.1 | text/06-ch05.txt:243(搜「斯金 纳箱」) · text/06-ch05.txt:244(搜「鸽子项目」) |
| 强化学习三难 | 5.3.1 | text/06-ch05.txt:252(搜「延迟奖励」) |
| RLHF 三步 | 5.3.1 | text/06-ch05.txt:266(搜「第一步：收集偏好数据」) · text/06-ch05.txt:276(搜「第二步：训练奖励模型」) · text/06-ch05.txt:281(搜「第三步：PPO 优化策略」) |
| 紧箍咒与截断 | 5.3.1 | text/06-ch05.txt:287(搜「紧箍咒」) · text/06-ch05.txt:300(搜「这条戒律直接写进了损失函数」) |
| 工程四难 | 5.3.1 | text/06-ch05.txt:307(搜「几乎人人都被它咬过」) · text/06-ch05.txt:317(搜「浴室先成游泳池」) |
| DPO 洞察与边界 | 5.3.1 | text/06-ch05.txt:323(搜「何不跳过显式奖励模型这一步」) · text/06-ch05.txt:337(搜「需要复杂多步交互」) · text/06-ch05.txt:340(搜「瑞士军刀」) |
| GRPO 手法 | 5.3.1 | text/06-ch05.txt:341(搜「去掉 Critic 的组内相对优势」) · text/06-ch05.txt:360(搜「组内打分均值已经隐含起到」) |
| 两处统计偏差 | 5.3.1 | text/06-ch05.txt:369(搜「第一处是标准差」) · text/06-ch05.txt:374(搜「正确回答越来越短、错误回答越来越长」) |
| 极简派与四阶段 | 5.3.1 | text/06-ch05.txt:389(搜「不做任何 SFT 初始化」) · text/06-ch05.txt:393(搜「冷启动」) |
| 顿悟时刻 | 5.3.1 | text/06-ch05.txt:396(搜「并非 RL 凭空赋予」) |
| 锚定派与裁判准确率 | 5.3.1 | text/06-ch05.txt:412(搜「长度奖励主动控长」) · text/06-ch05.txt:414(搜「接近九成九」) |
| 流水线派与模式融合 | 5.3.1 | text/06-ch05.txt:422(搜「同时活着两种回答习惯」) |
| 原则派 | 5.3.1 | text/06-ch05.txt:425(搜「把原则写进反馈」) |
| 底座定能力,后训练定味道 | 5.3.1 | text/06-ch05.txt:430(搜「底座定能力，后训练定味道」) |
| 拒绝采样与过程奖励 | 5.3.1 | text/06-ch05.txt:443(搜「只拿正确的轨迹回头再训练」) · text/06-ch05.txt:448(搜「评估每」) |
| PRM/MCTS 失败记录 | 5.3.1 | text/06-ch05.txt:454(搜「未采用 PRM 和 MCTS 的原因」) · text/06-ch05.txt:463(搜「反而比精巧的」) |
| 1000 条对 80 万条 | 5.3.1 | text/06-ch05.txt:466(搜「数据效率上限」) · text/06-ch05.txt:474(搜「推理能力的源头主要在预训练」) |
| 幻觉是副产品 | 5.4.1 | text/06-ch05.txt:526(搜「一本正经地编造」) · text/06-ch05.txt:528(搜「编一个听起来合理的答案」) |
| 纽约律师 | 5.4.1 | text/06-ch05.txt:530(搜「纽约律师」) · text/06-ch05.txt:532(搜「五千美元罚款」) |
| 三种来源三种药 | 5.4.1 | text/06-ch05.txt:554(搜「后训练能做的工作各不相同」) · text/06-ch05.txt:558(搜「三档对比数据」) |
| 缓解不是根治 | 5.4.1 | text/06-ch05.txt:561(搜「都只是缓解，而不是根治」) |
| 拒答张力 | 5.4 | text/06-ch05.txt:509(搜「越强调安全，越可能牺牲便利」) |
| 红队与持续对齐 | 5.5 | text/06-ch05.txt:574(搜「红队测试就是这种持 续过程中的重要环节」) · text/06-ch05.txt:581(搜「共同上升」) |
| 边界线 | 5.5 | text/06-ch05.txt:588(搜「不断重画的边界线」) |
| 评测是子学科 | 5.6 | text/06-ch05.txt:596(搜「在哪个维度上」) |
| 三种范式 | 5.6.1 | text/06-ch05.txt:606(搜「最容易被滥用的一类」) · text/06-ch05.txt:613(搜「投票选偏好」) · text/06-ch05.txt:619(搜「真实任务和长程评测」) |
| 指标 | 5.6.2 | text/06-ch05.txt:630(搜「Pass@k」) · text/06-ch05.txt:633(搜「BLEU」) |
| 泛化、污染、多目标 | 5.6.3 | text/06-ch05.txt:651(搜「泛化是最深的问题」) · text/06-ch05.txt:662(搜「一票否决项」) |
| 收益与伪装 | 5.7 | text/06-ch05.txt:671(搜「更像助手」) · text/06-ch05.txt:687(搜「更礼貌地表达错误」) |
| 后门与策略性欺骗 | 5.7 | text/06-ch05.txt:691(搜「Sleeper Agents」) · text/06-ch05.txt:694(搜「Apollo Research」) |
| 奖励作弊的案例 | 5.7 | text/06-ch05.txt:704(搜「赛艇游戏实验」) · text/06-ch05.txt:709(搜「硬编码期望值」) |
| 诊断习惯 | 5.7 | text/06-ch05.txt:716(搜「一类病根在预训练形成的能力」) |