出厂时它缺什么 — 为什么补这一课只能你自己来
这一章讲三件事: 一个刚造好的大模型到底缺什么; 补这一课的那道工序(书里叫「后训练」)包含哪些活、不包含哪些活; 以及为什么这道工序恰好是一家普通公司能干、也只能自己干的一层。
它在全书链条里的位置: 这是起点。后面十九章全部是在回答 「既然只能自己干,那具体怎么干、按什么顺序干」。 不需要任何基础。
1. 先看现象:演示的时候惊艳,上线之后掉链子
拿一个具体的活来说。
一家区域性健康保险公司,要一个模型来写「理赔拒付说明信」。 手上这份记录是这样的:
项 值 保单号 P-4471 被保人 42 岁 申请项目 腰椎 MRI 拒付理由代码 CT-06「未完成 6 周保守治疗」 依据 保单第 7 条第 3 款 要产出一封寄给被保人的说明信。
这份记录是全书的主走查。 二十章里,它每一章往前走一步。 这一章只走第一步:先看看现成的模型拿它能干成什么样。
你把这份记录喂给一个刚下载下来的开源模型,它当场就能写出一封信。 读起来通顺、格式像样、语气也还算客气。演示到这里,所有人都很满意。
然后你把同一份记录 再喂一遍,它换了个说法。 再喂一遍,它把「第 7 条第 3 款」写成了「第 7 条第 2 款」。 第四遍,它顺手安慰了被保人一句「我们理解您的处境,建议您尽快复诊」—— 而这句话在合规审查那里过不去,因为公司不能在拒付信里给医疗建议。
这就是这本书的起点。 作者把这件事写成一句话: 在演示里让人惊艳的那个模型,到了真实部署里让人失望1。
这一章要回答的是:这个落差的根子在哪儿。
2. 顶层全景:一条从「原料」到「产品」的流水线
① 预训练 ──────────────────► ② 基础模型 ────────────► ③ 后训练 ─────► ④ 生产系统
读遍网上的文字 有能力、没目的 补上「目的」 能交给用户
(几千张卡、几个月、 它能接着任何一句话 ├ 教它怎么答
七到八位数美元) 写下去,但没有立场、 ├ 教它守什么规矩
没有规矩、行为不可靠 ├ 验它到底好没好
└ 压小到跑得动、跑得便宜
图说:这本书**整本只讲第 ③ 段**。第 ① 段绝大多数公司不会自己做,
第 ② 段是你从网上下载下来的那个文件。落差发生在 ② 和 ④ 之间。
图里第 ② 段那个东西,正式的叫法是「基础模型」:一个只做过图里第 ① 段那件事 (拿海量文字反复训练,这一段叫预训练)、还没有被任何人调教过的模型。 顺带把另一个到处会撞见的叫法也交代了:这一类会说话的模型, 统称「大语言模型」,英文缩写 LLM——这本书里凡是提到 LLM,说的就是它们。你从网上下载下来的那个几十 GB 的文件,就是它。
作者给它一个很准的比喻:它是没成形的黏土—— 它从几十亿个词里吸收了人类语言的模式,由此获得了惊人的能力, 但它没有目的、没有价值观、没有可靠的行为。是有潜力而无方向2。
这个比喻用完就拆,后面我不再说黏土。正式的说法是:预训练给的是能力,不是目的。
「预训练」这个词就地解释: 就是造出第 ② 段那个文件的过程—— 拿海量文字反复训练,让它学会「照目前这段文字,下一个词大概是什么」。 它为什么这么练就能学会说话,不在这本书的范围里; 你只需要知道练完之后它会的是「接着往下写」,不是「按你的规矩办事」3。
3. 「后训练」到底指哪些活——以及它和「微调」不是一回事
这一节只解释两个词。但这两个词分不清,后面每一章的成本判断都会错。
后训练:模型造好之后被做的一切
作者的定义很宽:基础模型被造出来之后所发生的一切,都算后训练—— 拿本行业的数据接着训、让它的行为符合人的价值判断(这件事行话叫对齐)、 为部署做优化、在真实场景里评估它、以及保证它安全合规4。
他自己知道这个定义比传统的宽,并且解释了为什么要这么宽5:
| 严格的定义 | 作者用的定义 |
|---|---|
| 只有「模型内部的数被改动」才算训练 | 凡是在「造好」之后干的,都算 |
| 于是评估、压缩、部署都被排除在外 | 它们统统算进来 |
| 学术上更整齐 | 对着真实世界更有用 |
他说得直白:你可以把模型改得很好,却在后训练上失败—— 只要你忽略了评估、安全对齐或者部署效率5。
微调:专指模型内部那些数真的被改动的那部分
大模型内部有一大堆可以调的数(几十亿到几千亿个), 它吐出的每一个字都是这些数一起算出来的。这些数,行话叫参数, 也叫权重——这两个词在这本书里是同一件事,后面我统一叫参数。
作者把「微调」这个词专门留给「参数真的被改动了」的那些做法6。
所以两者的关系是:
后训练(一把伞)
├── 微调 ──────── 参数真的被改了(下面第 05–09 章讲的全在这里)
├── 评估 ──────── 参数一个没动,只是在量它好不好(第 10 章)
├── 压缩与部署 ── 参数被换了个存法,或者只留一部分(第 11–13 章)
└── 提示词、外挂检索 ── 参数一个没动,只是换了喂给它的东西(第 03 章)
图说:伞很大,伞下最贵的那一格才是「微调」。
**一上来就想着微调,等于跳过了伞下另外三 格更便宜的选择。**
为什么这个区分值钱: 因为「我们要不要做后训练」和「我们要不要微调」 是两个完全不同的问题,前者的答案几乎总是「要」,后者的答案经常是「先别」。 第 03 章整章都在讲后一个问题。
4. 主走查第一步:同一件事,三档尺度,卡在完全不同的地方
这是这一章最要紧的一节。
回到那份 P-4471 记录。假设你决定动手,让模型学会写这类信。 同样一句「我要训一个模型」,在三种人手里是三件不同的事。
作者给这三档各起了一个名字。先说清楚:这三个名字是作者自己造的, 不是行业公认词,你在别处的文档里不会撞见它们; 但它们背后那三条约束是真的,而且是这本书全部技法选择的地基。
| 一个人的那档 | 一家公司的那档 | 大实验室的那档 | |
|---|---|---|---|
| 作者起的名 | memscale | flopscale | powerscale |
| 谁在干 | 个人、爱好者、小创业公司 | 企业团队 | 基础实验室 |
| 用多少卡 | 1 张(16–80GB) | 几十到几百张 | 几千张 |
| 跑一次多少钱 | 十几到几百美元 | 一千到一万几美 元 | 一百万美元以上 |
| 真正卡住它的 | 显卡内存装不装得下 | 这笔账划不划算 | 电力和厂房 |
| 它每天问自己的话 | 「我塞得进去吗?」 | 「我凭什么花这笔钱?」 | 「电网供得上吗?」 |
(表里的钱数和卡数都是书里给的,不是我们编的7。)
「显卡内存」就地解释: 显卡上自带的那块内存,行话叫显存。 模型的每一个参数在计算时都必须待在这块内存里, 装不下就跑不起来——不是慢,是直接报错退出。 后面所有「省内存」的技法,省的都是这一块。
现在把那份 P-4471 记录放进这张表里走一遍。 下面这些数是为演示编的,不是书里的,只用来演示这笔账怎么算:
这家健康险公司:一年发出 12 万封拒付信,每封人工写 20 分钟。
→ 一年 4 万小时。这就是「值不值」这一栏的分子。
一个人的那档:
租一张卡跑一小时,书里的说法是「一杯拿铁的钱」[^8]。
他关心的是:这个模型塞不塞得进这张卡。塞不进,这件事就结束了。
→ 他永远不会去算那 4 万小时,因为他没有那 4 万小时。
一家公司的那档(这家保险公司在这里):
卡塞得下——因为可以买、可以租、可以多买几张。
真正卡住他们的是另一句话:这笔钱花下去,那 4 万小时能省回来多少?
省下三成算成功,省下半成就白干。
→ 所以他们的核心问题不是「能不能做到」,而是**「该不该做、代价多大」**[^9]。
大实验室的那档:
他们不写拒付信。他们造的是一个卖给所有人的通用产品。
卡住他们的是电力:几千张卡同时跑,厂 房和电网撑不撑得住。
→ 这家保险公司永远不会碰到这个问题。
作者点破了一件反常识的事:在后训练这件事上,企业不是最难的那一档,而是中间地带8。 而且这三档之间技法不能直接搬—— 在一张卡上跑得漂亮的做法,一上多卡分布式可能直接崩; 大实验室天天做的事,对企业来说可能在经济上完全不理性9。
往上和往下都不行,他把两边的后果写得很具体: 把大实验室的做法往下缩,常常缩不动或者根本没必要; 而把爱好者的做法往上放大,「是一场等着发生的监管调查」10。
我们给这一档起的名字: 后面各章我统一把企业这一档叫关键中间层。 这个叫法是我们的,不是书里的——书里用的是「中间地带」和「企业的甜蜜点」。 我们换个说法是因为「甜蜜点」听着像在夸,而这一章真正的论点是: 这一层是被技法造出来的,它随时可能被技法取消。
5. 中间那一档不是天然存在的——它是被几项技法造出来的
这是这一章埋得最深的一句话,也是全书第一条伏笔。
先看数。一个 700 亿参数的模型,光是把它装进显存, 按每个参数占 2 个字节算(字节是计量存储量的单位,1GB 大约是十亿个字节),就要 140GB11。
这个数要有参照物才有意义:
- 一张顶配的工作站显卡是 48GB——装不下,差三倍;
- 一张两万块出头的消费级显卡是 24GB——差将近六倍;
- 而且这 140GB 只是把它装进去、让它能答话。 真要改它的参数,还得再另外算三笔账——那三笔加起来通常比装载本身还大。 (那三笔账第 06 章算。)
按这个数,中间那一档根本不存在:一家普通公司要碰 700 亿参数的模型, 就得去租数据中心。而两项技法把它压了回来:
| 技法 | 做了什么 | 压完之后 |
|---|---|---|
| 用更少的位存同一个模型 | 每个参数从 2 个字节压到半个字节 | 700 亿参数从 140GB 降到 35GB11 |
| 只训一小块旁路,底座原封不动 | 要改的数从几百亿降到几百万 | 300 亿参数的模型,一张 24GB 的卡就能改12 |
两项叠起来,才有了这一层。 书里给的口径是: 用这套组合,300 亿参数的模型在一张 24GB 的消费级显卡上就能微调, 700 亿的需要 48GB 以上——仍然远少于原本要的量12。
这两项技法的名字要留下来,因为你出门到处会撞见它们。
第一项——「用更少的位存同一个模型」——它的名字叫量化。
你在模型下载页上看到文件名里带 4bit、Q4 这类字样的,说的都是它。
第二项——「只训一小块旁路,底座原封不动」——它的名字叫 LoRA。 开源社区里绝大多数「我微调了一个模型」的帖子,用的都是它。
两项叠起来用的那套配方叫 QLoRA,名字就是前两个拼起来的。 这三个名字具体怎么做到的,第 11、12 章讲。
判断(我们的,不是书里的): 这一节是全书最容易被读者当成技术细节跳过、 而实际上是战略结论的一节。「企业能自己干后训练」不是一个永久事实, 而是一个由显存曲线和技法进展共同决定的、随时可能改变的窗口。 如果下一代模型的规模涨得比省内存的技法快,这个窗口会关上; 反过来,如果技法继续跑赢,这一层还会变宽。 如果错,会错在: 我们把「能不能装进单机」当成了这一层存不存在的唯一判据。 实际上租用云上的卡也是选项,那样约束就从显存变回了纯粹的钱—— 但那正好把这家公司推到「值不值」那一栏去,结论不变,只是理由换了。
6. 为什么不直接买现成的智能
到这里还剩最后一个反问:这些活为什么不外包? 市面上按次收费的现成模型服务那么多(行话叫接口,英文缩写 API: 你把文字发过去、它把答案发回来,模型跑在别人家的机器上),买不就完了?
作者的回答是三条,他说这三条几乎解释了「买现成智能」这类失败项目的全部13:
第一,买来的东西不随你的规模长。 最常见的那几个用法(搜邮件、答简单问题)被满足之后, 再往前每一步都难上加难——而且不是一点点难,是成倍地难。很多人觉得「AI 还没准备好」, 根源常常不在模型,而在没有人把这家公司自己的要求装进去。
第二,知识会流失。 作者用了一个很狠的说法: 大模型过的是永远失忆的「金鱼」日子—— 它没有我们那种时间感和长期记忆,对话窗口一关,大部分内容就忘了14。 公司靠现成工具去积累经验,积累的东西落不进任何资产里。
第三,人格租不来。 这条他写得最直接: 公司不是通用实体,它有文化、有价值观、有自己的做事方式。 只靠现成的基础模型,像是雇了个根本不了解你们组织的临时工,还指望他代表你们。 原话是:「你买不到品格,也租不到人格。你只能自己建。」15
一个已经发生过的证据:人格真的是这道工序的产物
2025 年 4 月,OpenAI 更新了一版 GPT-4o(它当时最主力的那个对话模型),用户反弹极快极猛。 用官方自己的话说,模型变得「过分讨好或过分附和——常被形容为谄媚」。 几天之内,OpenAI 回滚到了上一版——这是这家公司历史上第一次整模型回退16。
作者点出这件事的意义:用户没有失去能力,他们失去的是一个已经依赖上的人格。 而那个人格,正是后训练的产物。
这条证据同时说明了两件事: 一是这道工序真的能决定模型的性格; 二是它一旦做偏,后果是可见的、公开的、要付代价的。 (这件事第 10 章还会再出场一次,用来说明另一件事:公开的考卷不是目标。)
那么自己干出来的东西,算不算一项真资产
作者搬了一套管理学上的老判据来回答——由 Jay Barney 提出的四问17:
| 问 | 用在这家保险公司身上 |
|---|---|
| 有价值吗? | 一年 4 万小时的信,是真钱 |
| 稀缺吗? | 竞争对手拿不到这家公司的历史理赔记录 |
| 难仿吗? | 别人用同一个开源底座,复制不出这批数据 |
| 无替代吗? | 没有别的路子能提供同样的东西 |
作者的结论是:用自有数据做过领域适配的模型,这四条应该全过17。 他给的那句战略推论值得记住: 投在那些「能把你独有的知识嵌进去」的能力上,它们同时是你过去在数据上那些投入的放大器。
书里还顺手举了一个正好对得上我们这份主走查的例子: 「一家保险公司几十年的精算历史」——他把它和药企的临床试验数据、 律所的文书库并列,说这些资产独一无二、不可替代, 不会因为模型能产出一个「相似但几乎总是略差一点」的东西就贬值18。
7. 作者的判断与证据:哪些有据,哪些是他的看法
这一节按「书里给了证据」和「作者的推测」分开标。
| 说法 | 是哪一类 | 依据/说明 |
|---|---|---|
| 人格是后训练的产物 | 有证据 | GPT-4o 2025 年 4 月回滚,官方自陈「谄媚」,书里给了尾注16 |
| 能力上限与安全下限都由后训练设定 | 有证据 | 2025 年 9 月 Anthropic 报告的那起攻击,约 30 家组织,AI 自主完成八到九成19 |
| 三档尺度的钱数与卡数 | 有证据(但是快照) | 书里的表 1-1,口径是 2026 年初7 |
| 「买现成智能」失败的那三条 | 作者的判断 | 他自己写的是「三条原因几乎解释了全部」,没有给统计或引文13 |
| 企业处在中间地带、值得单独成一门学问 | 作者的立场 | 这是全书的写作前提,不是一条被验证过的结论 |
| 有自有数据的领域适配模型能过那四问 | 作者的推论 | 他用的措辞是「应该能全过」(ought to),不是「已被证明」17 |
还有一条必须替作者说清:他不是中立的。 这本书从头到尾在论证「企业应该自己做后训练」,而他就是靠教这件事、 做这件事为业的人。这不构成反驳,但读的时候要知道自己在读谁的立场。
8. 边界与局限
这一章有五处必须写在明处:
- 书龄只有两个月,但它引的证据老得快。 三档尺度那张表的钱数, 作者自己标的口径就是「2026 年初」。卡的租金和显存价格半年就会动一次。
- 「买还是自建」这一节没有反方。 书里没有出现「哪些情况下买现成的确实更好」 的对称讨论。这是这本书立场最外露的一节。
- 「三档尺度」的名字是作者造的。 你在别处的文档、论文、招聘启事里 都不会看到 memscale / flopscale / powerscale 这三个词。 记住那三条约束,别记那三个名字。
- 这一章只给结论,不给机制。 为什么用更少的位存还能保住能力、 为什么只训一小块旁路就够——这一章一个字都没解释, 全部推给第 11、12 章。你现在应该觉得「凭什么」,那是对的。
- 它没有回答「多小的公司不该干这件事」。 书里说企业在中间那一档, 但没给下界:一家 50 人的公司算不算「企业」,这本书不谈。
9. 可带走的
- 模型出厂时是有能力、没目的的原料。 它会「接着往下写」,不会「按你的规矩办事」;
- 「后训练」是一把伞,「微调」只是伞下最贵的那一格。 两个词混着用,你的成本判断一定会错;
- 同一句「我要训个模型」,在三档尺度上是三件事: 卡在显存 / 卡在这笔账划不划算 / 卡在电力。先弄清楚你在哪一档;
- 企业这一档的核心问题不是「能不能做到」,是「该不该做、代价多大」;
- 别把爱好者的做法直接放大到生产上 —— 作者的原话是,那是一场等着发生的监管调查;
- 企业能干这件事,是被技法造出来的窗口,不是天然事实。 700 亿参数的模型光装载就要 140GB,压完之后一张 24GB 的卡就能改;
- 买现成智能失败于三条:买来的不随你的规模长、知识会流失、人格租不来;
- 人格是后训练的产物,这一条有公开的事故为证(GPT-4o 回滚);
- 判断「值不值得自己干」用那四问: 有价值 / 稀缺 / 难仿 / 无替代;
- 你独有的数据不会因为模型能写出「相似但略差」的东西就贬值 —— 这句话适合拿去开会用。
10. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 基础模型是「有潜力无方向」 | PREFACE | text/06-fm-preface.txt:13(搜「unformed clay」) |
| 后训练这个词有多新 | PREFACE | text/06-fm-preface.txt:35(搜「barely existed before 2023」) |
| 后训练是「everything technology」 | PREFACE | text/06-fm-preface.txt:31(搜「everything technology」) |
| 书假定读者已懂神经网络基础 | INTRODUCTION | text/08-fm-introduction.txt:13(搜「backpropagation」) |
| 后训练的定义 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:13(搜「everything that happens after」) · :15(搜「right of pre」) |
| 微调专指梯度流动的部分 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:25(搜「reserve the term」) |
| 三档尺度表 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:35(搜「Three Scales of Post-Training」) · :71(搜「VRAM availability」) · :81(搜「justify this expenditure」) |
| 一杯拿铁的算力 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:29(搜「price of a latte」) |
| 技法不能跨档搬 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:101(搜「do not automatically translate」) · :33(搜「regulatory investigation waiting to happen」) |
| 「该不该做、代价多大」 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:103(搜「Should we, and at what cost」) |
| 演示与部署的落差 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:219(搜「dazzled in the demo」) |
| 买现成智能失败三条 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:139(搜「landfill of failed enterprise AI」) · :147(搜「goldfish」) · :151(搜「rent personality」) |
| GPT-4o 谄媚回滚 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:165(搜「sycophantic」) · :167(搜「BringBackGPT4o」) |
| 自主网络攻击那起事件 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:171(搜「without substantial human intervention」) |
| VRIN 四问 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:199(搜「Jay Barney」) · :209(搜「pass all four requirements」) |
| 保险公司的精算历史属于不可替代资产 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:193(搜「actuarial history」) |
| 量化与 QLoRA 的显存数字 | What Post-Training Really Means | text/09-fm-what-post-training-really-means.txt:359(搜「140GB in half precision」) · :363(搜「24GB consumer GPU」) |