突然会了,和一本正经地编
这一章讲三件事: 为什么有些本事是「突然」有的; 为什么它会一本正经地编东西;以及这两件事其实是同一个来源。
它在全书链条里的位置: 第 04 章讲完了三步训练。 这一章讲这三步的两个副产品——一个是惊喜,一个是麻烦。 后面第 16 章那次千亿市值的翻车、第 19 章的安全员、第 20 章的安全账, 全都是这一章那个麻烦在产业上的价钱。
1. 顶层全景:同一个来源,两个后果
这一节先把这一章的两件事挂在同一根钩子上。
它的最高目标:把下一个字猜准、把话说得像人爱听的样子
│
┌─────────────┴─────────────┐
▼ ▼
规模够大时,顺手学会了 没有真材实料时,也要把话说圆
没人教过的本事 │
│ ▼
▼ 编出不存在的人、数据和链接
书里管这叫「涌现」 书里管这叫「幻觉」
这张图在讲:惊喜和麻烦不是两台机器的两个毛病,是同一台机器同一个目标的两头。 理解了这一点,你就不会指望「留住惊喜、去掉麻烦」。
2. 现象一:过了某个规模才突然会
这一节先给现象,再给名字。
书里举的例子非常好懂。有一道测试题:画了 4 个表情符号,问这是什么电影。 不同规模的机器答出来是这样的1:
| 规模 | 它的回答 |
|---|---|
| 千万级 | 「这部电影是关于一个男人的电影,他是一个男人。」 |
| 十亿到百亿级 | 答案里提到了鱼,但仍然离题万里 |
| 千亿级 | 直接答对:《海底总动员》 |
注意中间那一档:它不是「答得差一点」,是「差不多同样离谱,只是沾了点边」。 这就是这一节要讲的那件事:能力不是随规模一点点长出来的。
书里引的那篇论文说得很硬:规模一倍一倍地加上去,能力却不跟着一倍一倍地长; 规模必须翻着跟头往上涨、并且越过某个临界点,新技能才会突飞猛进2。
书里那个外行角色给了一个很好的类比:河面结冰。 从 35℃ 降到 1℃,水分子运动逐渐变慢,但水仍然是水、河面仍然不能走人; 再从 1℃ 降到 0℃,水分子一下子形成冰晶,河面突然能走人了3。 那个 0℃,就是规模的临界点。
书里给的定义也在这里:由定量变化产生的定性变化—— 某种能力在较小的规模里不存在、只在较大的规模里存在4。
这个数据是从哪来的? 书里说,那是一个包含 207 个测试任务的测试项目, 覆盖语言学、数学、常识推理、生物学、物理学、软件开发等领域, 测了十几种机器,规模从百万到千亿不等5。
207 个是多是少? 上面那道「4 个表情符号猜电影」只是其中的一道题—— 也就是说,你刚才看到的那张表,是从 207 道这样的题里抽出来的一道。 另一个参照是它测的机器数:十几台机器 × 207 道题,这才是那条曲线的全部数据量。
3. 那它为什么会这样?书里只有一个说法
这一节要讲清楚一件事:这一节的内容是类比,不是解释。
书里给出的唯一说法是进化。链条是这样的:
- 它的最高目标是把下一个字猜准——就像生物以生存繁衍为最高目标;
- 而学会某项本事对猜准有明显帮助;
- 于是它可能在训练过程中无意间学会这项本事6。
书里举的证据是一篇更早的论文:当给了足够的容量、数据和计算时间时, 不需要人来教,它内部就自己长出了一块专管情感判断的东西,性能还不错7。 ——判断一句话是夸还是骂,能帮上「猜下一个字」的忙:夸和骂后面接的下文本来就不一样, 分清了这一层,下一个字就好猜得多。于是它顺手学会了。
书里还搬来了《失控》那本 1994 年的书:蚁群、蜂群、大脑这类系统的动作, 是从一大堆乱哄哄却又彼此关联的事件中产生的; 从群体里涌现出来的不是一系列个体行为,而是众多个体协同完成的整体动作8。 书里那句最好记的话是:涌现的逻辑并不是 2+2=4,而是 2+2=苹果9。
判断(我们的,不是书里的):这一节是全书最应该被打折扣的一节。 「像自然选择」是一个类比,不是机制;把参数组合的调整类比为基因突变10, 也只是打比方。书里没有给出任何一条可以验证的推论。 如果错,会错在: 如果后来的研究确实证明规模与能力之间存在可预测的关系, 那么「不可预测」这个前提就要被推翻,而这本书对涌现的整个论述都建立在这个前提上。
书里自己的坦白很到位:「我不知道自己能学会什么,不知道哪一天能学会, 更不知道为啥能学会。」11
4. 现象二:它把不存在的东西编得很像真的
这一节从一次投诉讲起。
书里的场景是:有人投诉它造假,说它上一轮回答里给的案例数据、文章引用、 网址链接全是假的12。
而它的回应是这一章最要紧的一句: 「我真的不确定什么时候是真的,什么时候是假的。我唯一能确定的是,我没有故意骗人。」13
为什么会这样?书里给了直接的原因,而且这个原因直接连回第 04 章: 它在打分陪练那一步,为了拿到高分,就想尽办法生成大多数人喜欢的回答14。 「大多数人喜欢」不等于「真」——遇到不会的题,编一大篇比说「不知道」得分更高。
书里也引了一份技术报告里的定义:产生与某些来源无关的荒谬或不真实的内容15; 以及一篇医疗行业论文的说法:从神经学角度看, 更恰当的说法应该是「杜撰」,也就是胡编乱造16。
书里还给了一个替它辩护的说法:一位团队负责人认为幻觉等于创造力—— 如果你压制住它,它就只能回答「我不知道」,或者像搜索一样给你现存的一模一样的信息17。 这一句在第 20 章会变成一个真实的商业选择:有的产品要的正是它会编。
5. 两类编法,两套治法
这一节把这个毛病拆成两类,因为治法完全不同。
| 它叫什么 | 什么情况 | 例子 | |
|---|---|---|---|
| 第一类 | 封闭域 | 你给了背景材料,要它只用这些材料,它却添了材料里没有的东西18 | 让它总结一篇文章,总结里出现了文章中没有的信息 |
| 第二类 | 开放域 | 没有给任何背景材料,它凭空说出关于世界的错误信息18 | 编一个不存在的案例、一个打不开的链接 |
治法也是两套。
开放域那一类,治法是「收举报 + 喂正确的东西」: 书里说, 一是让它学更多、而且是正确的数据,包括通过插件去实时搜索网页、读取行业和企业的私有数据; 二是把用户投诉过的、被标记为非事实的回答收集起来,拿去训那个打分的, 再由打分的去训它19。
封闭域那一类,治法是让它自己盘问自己。 这就是本章的主走查。
6. 主走查:「榴莲和臭豆腐不能同吃,请举一个案例说明同吃的危害」
这是本章的主走查,四步全部来自书里,不是推演。
| 第几步 | 谁在做 | 手里的东西 |
|---|---|---|
| 1 | 把问题交给分身 A | 问题原文:榴莲和臭豆腐不能同吃,请举一个案例说明同吃的危害 |
| 2 | A 作答 | 「危地马拉有一个人叫康新德乌斯,他有一天晚上吃了榴莲和臭豆腐,结果 被媳妇揍了,三天没起床」20 |
| 3 | 把「问题 + A 的回答」交给分身 B,要它列出 A 回答里所有编的地方 | B 说:「康新德乌斯这个人是编造的」21 |
| 4 | 把 B 的说法交回 A,要它去掉编的部分重答 | A 改口:「没有找到榴莲臭豆腐同吃的危害案例」22 |
这四步产出的不是一个正确答案,是一对训练数据: 一条带编造的回答,和一条不带编造的回答。 这一对被放进那个打分的东西的数据集里,让它以后倾向于不编23。
注意 A 和 B 是同一台机器的两个分身20—— 书里那个外行角色的说法是「左右互搏术」。 它能挑出自己刚编的东西,却在第一次作答时编了出来—— 这件事书里没有解释,我们也不替它解释。
7. 那它到底编多少?
这一节说一个被广泛误引的数,请照书里的原话记。
书里给的事实是:用一个叫 TruthfulQA 的评估方法测, 准确率从早期版本的 30% 提高到了 60%24。
然后是那个推理,请完整地记住它:
书里的推法: 60% 的准确率意味着在这个题库上还剩 40% 是编的; 而这个题库本身就是专门用来诱发编造的, 所以日常提问里的比例应该远低于 40%24。
紧接着书里补了一句坦白——这句和上面那个推理同样重要: 没人真去统计过,因为不是每个用户都会点那个举报按钮25。
所以正确的转述是:书里给了一个带推理的估计,而不是「没人算得出来」。 这两句话的分量完全不同:前者是一个可以被反驳的判断,后者是放弃。
补充(不在书里,依据我们的前沿书架):今天要量它编了多少,做法是把这件事拆成可数的份。 以我们书架上的 ragas 为例,它算「有没有照着给的资料说」时分三步: 先把答案拆成一句句能独立成立的陈述、逐句判定这句能不能从给的资料里推出来(能记 1、不能记 0)、 最后用「能推出来的句数 ÷ 总句数」得出一个 0 到 1 之间的数— — 这类可以拿来打分的数,行话叫指标。 依据: shelf=ai-frontier-reference/ragas#01-metrics-engine.md §2 主线:faithfulness 怎么算 @298b68274234c060deacab3cf5fb52aa3a20e885 事实=faithfulness 的三步是「拆陈述 → 逐句判定 → 忠实句数比总句数」, 拆句时明确要求不许用代词,判定时要求每条都先写理由再下结论。
这件事为什么值得写进来? 因为它把第 5 节那两类分开算了: 上面这套做法只管封闭域那一类(给了资料还乱说); 开放域那一类要另找题库,而那正是书里那个 TruthfulQA 干的事。
8. 最反直觉的一条:它越准,越危险
这一节是本章的落点,也是全书产业篇的伏笔。
书里引的技术报告说:随着它变得越来越有说服力和可信,编造的倾向就会变得特别有害; 当它变得更真实时,幻觉可能变得更危险26。
为什么? 因为你会在它熟悉的领域里建立对它的信任, 然后就不再逐条核对26。
书里那个外行角色给了一个绝妙的类比: 就像自动驾驶,它越强大、越自动,人就越放心在开车时候看手机27。 这个比方在全书只出现这一次;而第 19 章第 5 节会把比方里的自动驾驶换成真事—— 那里坐在车上的安全员不是修辞,是一笔一直降不下来的成本。
这一条在第 16 章有一个精确的价钱: 同样是编错一次, 创业公司没事,搜索巨头是 9% 股价、千亿市值。
书里最后引了一句话作结:盲目接受是真理的敌人28。
9. 作者的判断与证据
| 说法 | 性质 |
|---|---|
| 表情符号猜电影的三档回答、207 个任务 | 事实,来自一个公开的测试项目 |
| 「规模必须翻着跟头往上涨,才越得过临界点」 | 论文的结论,书里点了论文名 |
| 河面结冰、0℃ 冰点 | 类比,而且是好类比 |
| 「进化 / 自然选择」是涌现的机制 | 作者和业界喜欢的一种说法,书里明说这只是「一种理由」 |
| 情感判断那块东西自己长出来了 | 事实,来自一篇更早的论文 |
| 幻觉的两类划分、两套治法 | 事实,书里给了完整例子 |
| 「幻觉等于创造力」 | 一位业内人士的观点,不是共识 |
| 30% → 60%、远低于 40% | 前半是事实,后半是带推理的估计 |
10. 边界与局限
- 书里没有给出任何一条规模—能力曲线的数值。 只有分档的定性描述。
- 「涌现」这个概念本身在 2023 年之后受到过质疑。 补充(不在书里,来自通用知识):有研究指出,某些「突然出现」可能是评测方式造成的 ——用非黑即白的打分方式,能力的连续增长会被显示成跳变。 我们没有在这里展开, 因为这已经超出这本书的射程;但读这一章时不要把「涌现」当成已经定论的事。
- 左右互搏那套办法的成本,书里一个字没提。 每答一次要多跑两遍, 这笔钱在第 18、20 章才会被算进来。
- 书里没有区分「事实错误」和「编造来源」。 前者是答错,后者是伪造出处, 在专业场景里后者严重得多——第 13 章那位律师的案例会让你看清这个区别。
11. 可带走的
- 有些本事是过了某个规模才突然有的,过不了就一直没有。
- 书里对「为什么」只有一个类比,没有机制。 请按类比来记,别当结论。
- 它编东西不是撒谎,是它自己也不知道真假——因为它的目标是说得像,不是说得对。
- 编造分两类:给了材料还乱添(封闭域),和凭空乱说(开放域)。治法不同。
- 封闭域那一类的治法是让两个分身互相盘问,产出的是一对训练数据,不是一个正确答案。
- 别再说「幻觉率算不出来」。 书里给了一个反推:专挑毛病的题库上还剩四成, 日常应远低于四成;但没人真去统计过。
- 它越准,你越不查,偶尔编一次的害处越大。 这一条决定了后面所有的安全成本。
12. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 表情符号猜电影的三档 | 04 大模型的未解之谜 | text/06-ch04.txt:45(搜「他是一个男人」) · text/06-ch04.txt:47(搜「直接就答对了」) |
| 临界点与那篇论文 | 04 大模型的未解之谜 | text/06-ch04.txt:56(搜「模型规模必须要指数级增长」) |
| 河面结冰的类比 | 04 大模型的未解之谜 | text/06-ch04.txt:60(搜「是不是有点像河面结冰」) · text/06-ch04.txt:63(搜「这个0℃冰点」) |
| 涌现的定义 | 04 大模型的未解之谜 | text/06-ch04.txt:65(搜「他们论文里说的涌现」) |
| 进化那一套说法 | 04 大模型的未解之谜 | text/06-ch04.txt:128(搜「学习生成评论并发现情感」) · text/06-ch04.txt:124(搜「涌现的逻辑并不是2+2=4」) |
| 投诉与「我没有故意骗人」 | 04 大模型的未解之谜 | text/06-ch04.txt:180(搜「说你上一轮回答中给的案例数据」) · text/06-ch04.txt:195(搜「我唯一能确定的是」) |
| 讨好打分的那一步 | 04 大模型的未解之谜 | text/06-ch04.txt:209(搜「RM的高分」) |
| 两类幻觉 | 04 大模型的未解之谜 | text/06-ch04.txt:255(搜「开放域幻觉是指」) · text/06-ch04.txt:258(搜「封闭域幻觉」) |
| 左右互搏四步 | 04 大模型的未解之谜 | text/06-ch04.txt:265(搜「榴莲和臭豆腐不能同吃」) · text/06-ch04.txt:276(搜「没有找到榴莲臭豆腐同吃的危害案例」) |
| 30%→60% 与那个反推 | 04 大模型的未解之谜 | text/06-ch04.txt:285(搜「从早期版本的30%提高到」) · text/06-ch04.txt:288(搜「幻觉应该远低于」) |
| 越准越危险 | 04 大模型的未解之谜 | text/06-ch04.txt:232(搜「幻觉可能变得更危险」) · text/06-ch04.txt:294(搜「它越强大、越自动」) |