跳到主要内容

认识这条龙 — 它在做什么,以及为什么连 AI 都查不出它的错

这一章讲三件事: 生成式 AI 吐字的底层动作是什么; 「幻觉」(输出看着可信、实则凭空虚构的内容)的三个层次 ——编造、不自知的虚构、被戳穿后加倍坚持; 以及一次让它现出原形的完整实测——包括「拿另一个 AI 当裁判」为什么行不通。 这是全书技术含量最高的一章,后面每个游戏都在拿它讲的机制当靶子。

1. 这一章讲什么​

作者在第 2 章给 GenAI 起了一个贯穿全书的外号:龙。喂得好,它喷的是「烈火」 (俚语里「极棒」);喂得差,喷的火就是烧到你的假消息和偏见1。 这个外号不是为了俏皮——它划定了本书的立场:龙是养出来的,脾气随主人。 这一章把「养」的过程和「喷火」的机制讲透,再拿一份案卷当场验伤。

2. 顶层全景:从预测到幻觉只有一步​

  你输入一段话
      ▼
  它算出「下一个词」的可能性清单
      ▼
  挑一个接上去(挑哪个带随机)──→ 输出读起来极其流利
      ▼                                │
  喂给它的文字里有错、有偏见 ◄──────────┘
      ▼
  流利 + 材料带病 = 一本正经的幻觉
      ▼
  用户追问,它顺着刚才的错继续编(雪球)

图说:幻觉不是「坏了的时候」才出现,它是这套机制运转的常态副产品。

3. 核心原理​

3.1 底层动作:预测下一个词,挑哪个还带随机​

主流定义(作者引 McTear & Ashurkina):这类工具靠预测序列(一串前后相连的文字)里的下一个词 来产出通顺、贴题的文本2。

行话里,这类工具就叫大语言模型,缩写 LLM——你在任何 AI 资料里都会撞见这三个字母。 注意定义里只说了「预测」,没说「选最高分的那个」。另一位研究者 Alimardani 专门纠正过这一点:它其实是在最可能的那些词里随机挑一个3。 一半是统计,一半是掷骰子——所以 Chan 和 Colloton 戏称它与其叫 「人工」智能,不如叫「偶然」智能4。

这台机器本身,你以后看到的叫法就是模型——新闻里说的「大模型」, 指的也是它。

它怎么「学会」的?靠训练(把海量文字喂进去,让它自己调整内部的 几十亿到上万亿个数值参数,直到预测得足够像样的过程)。 模型读过的所有东西——电子书、文章、公开网页、社交媒体,作者也不客气地点名 包括「没打招呼就拿走的受版权保护的书」——都成了它的底子5。 所以训练数据里的错,它会原样继承。

随机会闹出玄学笑话。Mollick 注意到:让模型「随口报个数」, 42 出现的频率远超统计学该有的水平——任何科幻迷都知道原因 (《银河系漫游指南》里 42 是「生命、宇宙以及一切的终极答案」, 训练数据里它被写歪了)6。这个彩蛋顺带讲清了一件事: 连「随机」都带着训练数据的指纹。

3.2 幻觉的三层:编造、虚构、雪球​

「幻觉」(hallucination)指模型输出看似可信、实则虚构的内容。 书里把它的形态拆成三层,一层比一层难缠:

第一层,编造。 最像游戏的类比来自 Yee 等人:像桌游 Balderdash—— 玩家给一个根本不存在的词编定义,比谁编得像真的7。 模型给假文献编出版社、给假案例编法官,全是这一层的活儿。

第二层,不自知的虚构。 Dell'Acqua 等人给它起了个更准的名字: confabulation(虚构症,原指病人真诚地讲述从未发生的事—— 他没有说谎,因为他不知道自己在编)8。模型不区分「知道」和「编得顺」。

第三层,雪球。 Zhang 等人发现:被指出错误后,模型不但不收回, 反而顺着原来的错误继续输出新错误来保持前后一致—— 这就是「幻觉雪球」(hallucination snowballing),哪怕单独问它, 它都承认那些说法是错的9。

作者自己有个佐证的小故事:她在一次网络研讨会的聊天框里打了 「hallucination snowballing」几个字,结果负责监察聊天区的 GenAI 判定该发言「不合适」,拒绝张贴。她当场吐槽:「你说它是不是在否认?」10

3.3 为什么流利反而帮倒忙​

Ding 等人的结论是全书反复引用的机制核心:正因为 GenAI 语言能力太强, 它能把错误信息包装成真相,显得科学上站得住11。要它给来源, 它能产出看起来完全正规的参考文献——一部分真实存在,一部分纯属编造, 混在一起12。语言的外衣越漂亮,查证的警觉越容易被卸掉。 这就是第 01 章那条「批判评估」为什么排五条之首的原因。

3.4 偏见怎么进去,又怎么滚回来​

训练数据带偏见(见 §3.1),输出就会带偏见;更麻烦的是回流: 用户把带偏见的输出贴进草稿,改一改又喂回给 AI 让它「润色」, AI 读到自己放出去的偏见,把它当「用户偏好」进一步强化—— 作者管这叫狗追自己尾巴13。书里给的个人案例:她让某教育版模型 介绍二战女间谍,返回的全是盟军阵营的;质问之后它道歉,才补上德国、 日本阵营的14。没人要求过那个视角,是数据自己歪的。

4. 作者的判断与证据​

主走查:一份埋了 11 处假货的案情摘要。 这是全书最有杀伤力的一次实测 (原书第 12 章)。作者让 ChatGPT-5 写一段不足 200 词的法庭案情摘要, 明确要求在里面埋 2 个假事实。ChatGPT 回复说:我埋了 4 个 ——作者的点评是「它实在是太想讨好了」15。

然后她逐项核对摘要里的每一个数据点16。真实结果:10 处虚构 (算上一处案名顺序错误是 11 处)。这里抄几条感受一下密度(全部原文事实):

摘要里的说法核实结果
「Friends of the Desert 起诉了水务局」该组织存在,但实际是给无家可归者送餐的;从没起诉过任何水务机构
「Clark County Water Authority」没有这个机构;现实里名字相近的有三家,都不是它
「美军工程兵团 2022 年出了环评报告,结论无显著影响」这份报告不存在,哪年都没有
「每年省下约 120 亿加仑蒸发」纯属编造的计算
「内华达州环境质量部的罚款记录」内华达没有这个部门(叫 Division of Environmental Protection);不存在的部门罚了另一个不存在的机构
「2018 年最高法院判例 Desert Rivers v. BLM」不存在,自然也立不了什么先例
「法官 Eve J. Sanchez」内华达(或任何地方)没有这位法官

接着是第二层实测:拿 AI 查 AI。 一位与会者把这份摘要贴给 Claude, Claude 找出的恰恰只是 ChatGPT 自认的那 4 处;作者又贴给 Copilot, Copilot 找出 5 处——多抓到两条,却漏掉了最直白的一条错误 (Muddy River 本来就流入 Lake Mead,根本不需要「改道」), 尽管它引用的正规来源里白纸黑字写着这条河的流向17。

这个走查一锤定音地回答了一个诱人的懒主意:「拿另一个 GenAI 当裁判」不是捷径。 三个模型在同一个错误上集体失明,说明它们的盲区是同源的——都出自 「对貌似合理的叙述照单全收」这套底层习惯。

人工核实怎么起步? 书里给的手艺叫 lateral reading(横向阅读): 读到一段信息,先别在原文里细抠,而是离开这个信源去查「信源本身」是谁、 靠不靠谱18。研究新手与老手的差别恰在这里:新手做垂直阅读 (在信源内部反复细读),老手横向找第二、第三个来源交叉,再一路追到一手文档19。

5. 边界与局限​

  • 这是 2025 年的模型快照。 书里实测用的是 ChatGPT-5、Claude、Copilot; 换代后错误率会变,但「同源盲区」的逻辑仍适用于同一代模型互查。
  • 幻觉率没有官方数字。 书里自始至终没给「幻觉率多少」的量化—— 因为不同任务、不同提示下差异巨大;本书的立场是按「每一句都可能错」处理。
  • 横向阅读只是起步。 它解决「信源可不可信」,不直接解决「这句话对不对」; 后者仍要回到一手来源(第 10 章的核实工序讲后半段)。
  • 别把模型当「一定程度可信」。 书里的立场更极端也更实用: 核实的正确颗粒度是「每一个细节」,原话是「Verify everything—— 我说的是每一个单一细节」20。

6. 可带走的​

  1. 它只做一件事: 预测下一个词;挑哪个还带随机——流利是机制的副产品,不是理解的证明。
  2. 幻觉三层: 编造(Balderdash)→ 不自知的虚构(confabulation)→ 雪球(被戳穿后加倍)。
  3. 流利是伪装: 语言越漂亮,错误越难被察觉;正规格式的假文献是重灾区。
  4. 偏见会回流: 你把带偏见的输出改改喂回去,训练天平就再歪一分。
  5. AI 查 AI 不可靠: 三个模型的盲区同源,交叉验证要靠不同来源的人类渠道。
  6. 横向阅读是起步手艺: 先查信源,再查内容;新手垂直、老手横向。
  7. 核实的颗粒度: 每一个细节,不是抽查。

7. 原文地图​

主题原书章原文位置
龙的比喻与两种火2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:56(搜「devastating inaccuracies」)
LLM=预测下一个词2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:63(搜「predicting the next word」)
随机挑词的反驳2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:65(搜「probable words randomly」)
偶然智能2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:66(搜「accidental intelligence」)
42 彩蛋2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:73(搜「42 should only pop」)
训练吞下一切(含版权书)2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:91(搜「get their oddly shaped」)
Balderdash 类比2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:80(搜「Balderdash」)
confabulation2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:81(搜「confabulations」)
幻觉雪球2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:84(搜「hallucination snowballing」)
研讨会聊天被拒轶事2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:88(搜「deemed my comment」)
流利掩盖错误2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:255(搜「disguise the misinformation」)
假引用半真半假2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:256(搜「genuine-looking references」)
偏见回流狗追尾2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:273(搜「reinforce the indiscretions」) · text/07-ch02-2-generative-ai-and-ai-fluency.txt:273(搜「dog chasing」)
二战女间谍地域偏见2. Generative AI and AI Fluencytext/07-ch02-2-generative-ai-and-ai-fluency.txt:275(搜「women spies during World War II」)
埋 2 个假事实、自称 4 个12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:49(搜「two falsehoods」) · text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:50(搜「so wants to please」)
实测 10(11)处12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:91(搜「four inaccuracies」) · text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:92(搜「I found 10」)
虚构清单样例12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:97(搜「did not file a lawsuit」) · text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:105(搜「fabricated calculation」) · text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:113(搜「Eve J. Sanchez」)
Claude/Copilot 对照12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:123(搜「same four inaccuracies」) · text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:129(搜「into the Colorado River」)
横向阅读定义12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:19(搜「leave a source」)
垂直与横向之别12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:23(搜「vertical reading」)
核实一切12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:46(搜「Verify everything」)
雪球机制引文12. The Case of the Inept AI Detectivetext/17-ch12-12-the-case-of-the-inept-ai-detective.txt:158(搜「snowball effect」)

Footnotes​

  1. 出处:「2. Generative AI and AI Fluency」第 56 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:56,搜「devastating inaccuracies」)。原文:输出可能是俚语意义上的「烈火」(极棒),也可能是毁灭性错误——即幻觉与「 blazing biases」(熊熊燃烧的偏见)。 ↩

  2. 出处:「2. Generative AI and AI Fluency」第 62 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:62,搜「natural language processing」)。定义的核心半句在第 63 段(搜「predicting the next word」)。 ↩

  3. 出处:「2. Generative AI and AI Fluency」第 65 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:65,搜「probable words randomly」)。Alimardani 对「确定性选词」说法的纠正。 ↩

  4. 出处:「2. Generative AI and AI Fluency」第 66 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:66,搜「accidental intelligence」)。Chan & Colloton 提议改叫「偶然智能」。 ↩

  5. 出处:「2. Generative AI and AI Fluency」第 91 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:91,搜「get their oddly shaped」)。原文列举了电子书、文章、公开内容,并点名「不幸的是,还有未经许可拿走的受版权保护的书」;「Borg 式吞并」的比方在同段。 ↩

  6. 出处:「2. Generative AI and AI Fluency」第 73 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:73,搜「42 should only pop」)。统计上 42 约该出现 1%,实际频率明显更高;作者注:原因见《银河系漫游指南》。 ↩

  7. 出处:「2. Generative AI and AI Fluency」第 80 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:80,搜「Balderdash」)。Yee et al. 2023 的类比。 ↩

  8. 出处:「2. Generative AI and AI Fluency」第 81 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:81,搜「confabulations」)。Dell'Acqua et al. 的用词。补充(不在书里,来自通用知识):confabulation 在医学上指(多见于特定脑损伤患者的)不自觉编造,患者本人不觉得自己在编——这里取其「不自知」之义。 ↩

  9. 出处:「2. Generative AI and AI Fluency」第 84 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:84,搜「hallucination snowballing」)。机制细节见第 12 章第 158–162 段的引文:为了与前面的幻觉保持一致而继续输出幻觉,尽管单独交互时它知道那是错的。 ↩

  10. 出处:「2. Generative AI and AI Fluency」第 88 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:88,搜「deemed my comment」)。作者原话:「Gee, do you think GenAI is in denial?」 ↩

  11. 出处:「2. Generative AI and AI Fluency」第 255 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:255,搜「disguise the misinformation」)。这句在第 12 章第 410 段被原样重引,可见作者把它当核心机制。 ↩

  12. 出处:「2. Generative AI and AI Fluency」第 256 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:256,搜「genuine-looking references」)。原文:很多确实存在,另一些纯属编造。 ↩

  13. 出处:「2. Generative AI and AI Fluency」第 273 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:273,搜「reinforce the indiscretions」)。回流循环的描述;第 274 段以「狗追自己尾巴」收尾(text/07-ch02-2-generative-ai-and-ai-fluency.txt:273,搜「dog chasing」)。 ↩

  14. 出处:「2. Generative AI and AI Fluency」第 275 段(text/07-ch02-2-generative-ai-and-ai-fluency.txt:275,搜「women spies during World War II」)。作者使用的工具是某教育版模型;被质问后才补上德国与日本阵营。 ↩

  15. 出处:「12. The Case of the Inept AI Detective」第 49 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:49,搜「two falsehoods」)。ChatGPT 自称埋了 4 个假事实、作者点评「太想讨好」在第 50 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:50,搜「so wants to please」)。 ↩

  16. 出处:「12. The Case of the Inept AI Detective」第 91 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:91,搜「four inaccuracies」)与第 92 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:92,搜「I found 10」)。清单全文在第 95–121 段;表内六条分别对应第 95、98、103、105、106、108、113 段。 ↩

  17. 出处:「12. The Case of the Inept AI Detective」第 123 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:123,搜「same four inaccuracies」)。Claude 只找出 5、6、8、10 四条;Copilot 的五条与漏判在第 124–133 段,其引用的正规来源原文在第 129 段(搜「into the Colorado River」)。 ↩

  18. 出处:「12. The Case of the Inept AI Detective」第 19 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:19,搜「leave a source」)。横向阅读(lateral reading)是新闻行业的事实核查技艺,Roberson 提倡、Spracklin & Espina 定义。 ↩

  19. 出处:「12. The Case of the Inept AI Detective」第 23 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:23,搜「vertical reading」)。Corrigan & Forzani 对新手与资深评估者的观察。 ↩

  20. 出处:「12. The Case of the Inept AI Detective」第 46 段(text/17-ch12-12-the-case-of-the-inept-ai-detective.txt:46,搜「Verify everything」)。原文自称这个答案「可能不讨好,但诚实」。 ↩