跳到主要内容

LLM 为什么会答错 — 一台不存事实的下一词预测机

这一章讲三件事: LLM 到底是什么(以及它不是什么);它有哪四个绕不开的毛病; 为什么这四个毛病靠「继续训练它」修不好——这条论证把全书逼上了 GraphRAG 这条路。 遇到的生词都在当场解释,不需要任何基础。

1. 顶层全景:先记住一句话​

  你问它一个问题 ──→ 它不「查」任何东西 ──→ 它按学到的语言规律,续写一段像答案的文字

  图说:全书第一章的全部内容,都是从「不查、只续写」这六个字里推出来的。

这一章是整本书的地基。后面十一章的所有机制——检索、图谱、社区摘要、评测—— 都是为了绕开这一章列出的四个毛病。所以先把毛病本身看清楚。

2. LLM 是什么:它每一步只在猜「下一个词」​

先从你见过的现象说起:你在 ChatGPT 里打一句话,它一个字一个字往外蹦。 那不是界面动画——它真实的工作方式就是一次猜一个词。

大语言模型(下面简称 LLM,就是 ChatGPT 背后那类系统)的训练目标只有一件事: 给它一段文字,猜下一个词是什么。书里的例子是输入「Never gonna」, 它接「give you up」——因为训练材料里这类搭配见得太多1。

那「知识」呢?你问它登月的事,它能答得头头是道,看起来像在查一张事实表。 书里专门戳破了这个印象:模型并不保存训练材料里的具体事实2。 它存的是别的东西——下面解释。

它存的东西叫「权重」​

LLM 的底座是一种叫神经网络(把大量简单的小计算件按层连起来、 靠调连接强度来学规律的结构)的东西。网络里每条连接都带一个数, 表示这条连接该起多大作用——这个数叫权重3。

训练就是反复调这几亿个权重:调到「给定前文,正确的下一个词」胜出为止。 所以当你问一个历史事件,它不是回忆起这条事件, 而是根据权重算出一个「像答案」的续写。书里引了 Andrej Karpathy 的说法: 这些模型确实维持着某种知识库,「但这个知识库非常奇怪、不完美」4。

「权重存的是规律而不是事实」——这句话是本章唯一需要真正记住的机制判断, 后面四个毛病全部从它推出来。

3. 主走查:让 ChatGPT 报一个编号,看它怎么错的​

光说「它不查资料」还比较抽象,书里给了一个可以亲手复现的实验5。

  第 1 步  输入:「Dallas Mavericks(NBA 球队)的 WikiData ID 是什么?」
           (WikiData 是一个给万物编唯一编号的公共数据库,ID 长得像 Q152232)

  第 2 步  它自信地输出:Q152232
           ——格式完全正确,以 Q 开头跟 6 位数字,看起来非常可信

  第 3 步  拿 Q152232 去 WikiData 一查:
           这个编号属于一部叫《Womanlight》的电影,跟篮球队毫无关系

  图说:第 2 步它没有「报错」也没有犹豫——因为「按 WikiData 的格式续写一个 ID」
  这件事它很擅长;至于这个 ID 对不对,它的构造里根本没有这一步。

这个走查解释了「幻觉」为什么长得那么像真话。幻觉指的是: 模型输出的信息听起来合理,但事实错误甚至整个是编的6。 书里点出幻觉的重灾区:网址、论文引用、这类编号——凡是有「固定格式」可模仿的地方, 它都能编出一个格式完美、内容错误的答案6。

判断(我们的,不是书里的): 检验一个 LLM 应用可不可靠,先看它输出里 「格式可模仿但内容需查证」的字段有多少(引用、编号、链接、人名头衔)。 这类字段越多,越不能裸用,越需要本书后面那种「先把证据放进 prompt」的做法。 如果错,会错在: 如果后续模型把「生成 + 查证」做进了同一个推理(一边想一边查)过程, 这条判据就会高估风险——但到那一步,本书讲的外挂检索层仍然有用武之地。

4. 四个毛病,每一个都从「不存事实」推出来​

书里把 LLM 的毛病列了四个,并且顺手承认了另外几个(偏见、容易被恶意指令操纵、 同一问题答案不稳定等)但声明本书不管那些7。我们逐一过。

毛病一:知识截止​

现象: 问它训练截止日之后的事,它要么直说不知道,要么开始编。 机制: 知识截止的意思是——训练材料只收录到某个日期为止, 那天之后世界上发生的事,模型构造里就没有入口8。

毛病二:过时信息​

现象: 更隐蔽——它答的是曾经对、后来错的信息。 走查: 书里的例子:2023 年底,Mark Cuban 把 NBA 球队 Dallas Mavericks 的多数股权卖给了 Adelson 家族;你问球队老板是谁,它还是会说 Cuban, 因为「Cuban 拥有独行侠」这条规律在训练材料里被强化过千万次, 而股权变更这种小体量新闻翻不起那么大的浪9。

注意这两个毛病的区别: 截止是「这事它压根没见过」,过时是「它见过旧版、 没见过新版」。对 RAG 系统设计者来说,后者更危险,因为它看起来完全可信。

毛病三:幻觉​

第 3 节的走查就是这个。书里给了一句定性,值得原样记住: 「LLM 不是推理引擎,它是按概率(一件事有多大机会发生的度量)挑词的语言模型,只管猜『听起来对的下一个词』, 不管这句话是不是真的」10。这句是全书立场的第一块基石—— 后面所有「用外部数据兜住它」的设计,前提都是承认这一点。

毛病四:私有数据​

现象: 你公司的内部文档,任何 LLM 训练时都没见过,所以问它只会得到泛泛而谈。 书里顺带堵死了一条歪路: 把公司文档公开到网上,祈祷它被收进下一轮训练? 既不现实也不安全,直接排除11。

四个毛病一张表​

毛病根子危险程度
知识截止训练材料有截止日明——它常会自己承认
过时信息见过旧版,没见新版隐蔽——旧答案说得一样自信
幻觉只管续写像,不管真假重灾区是格式化字段(引用/编号/链接)
私有数据训练时没见过一切企业级应用绕不开的那道墙

5. 「那继续训练它行不行?」——书里为什么说不​

最直觉的修法:知识过时?那就定期把新数据喂进去再训一遍。书里先讲清楚 LLM 的训练其实分四步12,再看这一步要付出什么:

修法分四步,一步比一步便宜:

  1. 预训练(第一步,打底):读上万亿个词的文本,学语言规律——要几千块专用训练卡、连续训数月,是最贵的一步;

  2. 监督微调(第二步:拿样本教):拿高质量的问答对,教它「像助手一样答题」——便宜得多,小模型单机笔记本都能跑;

  3. 奖励建模:拿同一个问题的多个答案分好坏,学「什么是好答案」——中等;

  4. 强化学习(第四步:按反馈打磨):按反馈继续打磨回答——中等。

监督微调的意思就是第二行:给模型看一批「输入问题 + 标准答案」的样本对, 盼着它把答案里的知识吸收进权重13。

书里给出的证据是打架的。 一派研究(Tian 等,2023)显示微调能提升事实性; 另一派(Ovadia 等,2023)显示 LLM 很难靠微调学会新的具体事实14。 书里的结论很克制:这个领域还在演化,「把微调过的模型可靠地用到生产环境」 当前阶段困难重重,所幸有一条更简单高效的路14。

判断(我们的,不是书里的): 两条证据打架时,工程上的稳妥读法是—— 微调可能适合「调整风格、格式、行为」,不适合「灌具体事实」。 事实会变,而权重一旦训好就冻住了;用会变的东西(外部数据库)装会变的知识, 让模型只干它擅长的事(读材料、组织语言),才是能维护的架构。 如果错,会错在: 如果后续训练技术让「持续灌事实」变得便宜可靠, 这本书的前提就动摇了一半——但截至目前,检索仍是行业主流选择。

那条更简单的路就是下一章的主角:RAG。 而这本书要讲的,是把 RAG 背后的存储从「一堆文本」升级成「一张知识图谱」——第 02 章讲。

6. 可带走的​

  1. LLM 的每一步都只是在猜下一个词,不查任何数据库;
  2. 事实不存库里,只压在权重里——权重存的是语言规律,不是事实条目;
  3. 四个毛病(截止/过时/幻觉/私有)都是「不存事实」的必然推论,不是实现 bug;
  4. 最危险的错是「曾经对、现在错」,因为它和真话一样自信;
  5. 格式化字段(引用、编号、链接)是幻觉重灾区——格式能模仿,内容它不管;
  6. 微调灌事实的证据互相矛盾,工程上稳妥的分工是:微调管行为,外部数据管事实;
  7. 判断一个 LLM 应用可不可靠,先数它输出里「格式可模仿」的字段有多少。

7. 原文地图​

主题原书章原文位置
下一词预测、Never gonna1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:57(搜「Never gonna」)
不存具体事实1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:94(搜「specific facts」)
权重1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:106(搜「weight」)
Karpathy「奇怪的知识库」1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:113(搜「kind of a」)
Q152232 走查1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:209(搜「Q152232」)
幻觉定义、律师案例1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:189(搜「bogus」) · text/10-ch01-1-improving-llm-accuracy.txt:195(搜「reasoning engines」)
知识截止1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:151(搜「cutoff date refers」)
Mark Cuban 过时例1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:164(搜「Cuban sold」)
私有数据、公开文档的歪路1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:227(搜「publicly」)
其他局限、本书不管1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:233(搜「other limitations」)
训练四阶段1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:272(搜「trillion」)
监督微调灌事实1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:293(搜「supervised finetuning phase」)
微调证据打架1 Improving LLM accuracytext/10-ch01-1-improving-llm-accuracy.txt:312(搜「struggle to learn」)

Footnotes​

  1. 出处:「1 Improving LLM accuracy」第 57 段(text/10-ch01-1-improving-llm-accuracy.txt:57,搜「Never gonna」)。原文:输入「Never gonna」会得到类似「give you up」的输出,因为它来自流行文化的常见搭配。 ↩

  2. 出处:「1 Improving LLM accuracy」第 94 段(text/10-ch01-1-improving-llm-accuracy.txt:94,搜「specific facts」)。原文:模型并不存储训练数据集中的具体事实、事件或信息,而是建立语言的其他复杂表示。 ↩

  3. 出处:「1 Improving LLM accuracy」第 106 段(text/10-ch01-1-improving-llm-accuracy.txt:106,搜「weight」)。图 1.4 的注解:神经元之间的每条连接有一个叫权重的值,表示连接的强度和影响。 ↩

  4. 出处:「1 Improving LLM accuracy」第 113 段(text/10-ch01-1-improving-llm-accuracy.txt:113,搜「kind of a」)。Karpathy 的原话(视频 12:40 处):我们大致知道它们建立并维护某种知识数据库,但这个知识库非常奇怪、不完美。 ↩

  5. 出处:「1 Improving LLM accuracy」第 209 段(text/10-ch01-1-improving-llm-accuracy.txt:209,搜「Q152232」)。原文:核实后发现 Q152232 是电影《Womanlight》的 WikiData ID。走查里「格式以 Q 开头」是我们对 WikiData ID 格式的描述(补充(不在书里,来自通用知识))。 ↩

  6. 出处:「1 Improving LLM accuracy」第 190 段(text/10-ch01-1-improving-llm-accuracy.txt:190,搜「commonly」)。原文:这类自信的错误就是常说的幻觉;并指出网址、学术引用、WikiData ID 这类外部引用尤其容易出这种问题。 ↩ ↩2

  7. 出处:「1 Improving LLM accuracy」第 233 段(text/10-ch01-1-improving-llm-accuracy.txt:233,搜「other limitations」)。框注列出偏见、缺乏真正理解、提示注入脆弱性、回答不一致,并声明本书只处理事实正确性与时效性。 ↩

  8. 出处:「1 Improving LLM accuracy」第 151 段(text/10-ch01-1-improving-llm-accuracy.txt:151,搜「cutoff date refers」)。原文:知识截止日期指模型训练数据包含信息的最近时间点。 ↩

  9. 出处:「1 Improving LLM accuracy」第 164 段(text/10-ch01-1-improving-llm-accuracy.txt:164,搜「Cuban sold」)。原文:2023 年底 Cuban 出售独行侠多数股权、保留少数;而模型回答仍以他为唯一老板。 ↩

  10. 出处:「1 Improving LLM accuracy」第 195 段(text/10-ch01-1-improving-llm-accuracy.txt:195,搜「reasoning engines」)。 ↩

  11. 出处:「1 Improving LLM accuracy」第 227 段(text/10-ch01-1-improving-llm-accuracy.txt:227,搜「publicly」)。原文:把公司内部信息公开出去期待进训练集,既不实际也不安全;本书将探索保持数据隐私的更有效策略。 ↩

  12. 出处:「1 Improving LLM accuracy」第 272 段(text/10-ch01-1-improving-llm-accuracy.txt:272,搜「trillion」)。四阶段按 Andrew Karpathy 的讲法(书中给了他的视频链接);预训练「数千张 GPU、数月」见原文第 275-276 段(text/10-ch01-1-improving-llm-accuracy.txt:276,搜「thousands of GPUs」)。 ↩

  13. 出处:「1 Improving LLM accuracy」第 293 段(text/10-ch01-1-improving-llm-accuracy.txt:293,搜「supervised finetuning phase」)。图 1.9 的样本:输入「Which team won the NBA championship in 2023?」,期望输出「Denver Nuggets are the 2023 NBA champions」。 ↩

  14. 出处:「1 Improving LLM accuracy」第 312 段(text/10-ch01-1-improving-llm-accuracy.txt:312,搜「struggle to learn」)。原文:有的研究(Tian 等,2023)显示监督微调能提升事实性,另一些方法不同的研究(Ovadia 等,2023)显示 LLM 难以靠微调学习新事实信息。 ↩ ↩2