Building Reliable AI Systems — 全书拆解
30 秒导读: 这本书回答一个很窄、但每个想把 AI 真正用起来的人都会撞上的问题: 一个在考卷上赢过博士的 AI,为什么一搬到公司自己的活上就掉一大截?
它不讲 AI 内部怎么造出来的,只讲造出来之后怎么让它靠得住: 说得准、做得安全、长期不退化。它最值钱的地方是一把简单的尺子—— 任何一个 AI 系统,都能被摆进「输出 / 动作 / 运营」这三层里,一格一格地查漏。
本组文档是我们重写的完整拆解,二十一章。读完不必看原书。 二十一章已全部落盘。
先约定一个词,后面每一章都要用。 本书从头到尾说的模型——指的是 ChatGPT、Claude 这一类你打字进去、它写字出来的程序。它不是去数据库里查一条记录还给你, 而是自己把回答一个词一个词写出来——这句话看着平常,却是全书一切麻烦的源头。 (它为什么只能这么写,第 02 章讲。)
还有一个动作也先 说清楚。 造这类程序的做法是:喂给它海量人类写下的文字, 反复调它内部那几千亿个数,直到它写出来的东西越来越像那些文字—— 这个反复调数的过程就叫训练(不是「培训员工」那个训练)。 那些被调的数决定了它会写什么、不会写什么。
1. 这是谁在什么时候写的
| 作者 | Rush Shahani —— 一家叫 Persana AI 的公司的 CTO;此前在 Element AI,以及领英负责搜索提问那一块1 |
| 写作时间 | 2026 年,而且是「边写边卖」的未定稿(出版社把没定稿的书先卖给读者,写完一部分更新一次,这一版是第 12 次更新) |
| 预设读者 | 会写 Python、拿程序调用过这些 AI、已经知道什么叫「它会瞎编」的人2 |
| 我们的读者 | 不是这批人。所以这份拆解要补的解释量很大——书里默认你懂的,我们全都从头讲。 |
三件事必须先说,否则会误读这本书。
第一,作者是利益相关方。 他自己在卖「帮企业把 AI 落地」的服务。 书里引的那些商业数字(某某公司靠 AI 省了多少钱、某某产品年收入破了多少 亿) 一个参照物都没给,读的时候要把它们和技术论证分开看。
第二,它是未定稿,交叉引用没校对过。 我们逐处核过,书里至少有三处 「这个我们在第 N 章讲过」指错了章号,还有几处示例代码有实打实的技术错误。 凡是这类地方,我们都在对应的那一章当场点破,并按我们自己的章号重写指路。
第三,它是本库里时代坐标最靠前的一本。 引到 2026 年的事, 所以它讲得到 2024 年那批书里根本没有的东西(比如「同一个 AI 装进不同的外壳, 能力差出一大截」这件事)。代价是这些新说法大多只有一处来源,我们能核的都核了, 核不到的都写明了「书里的说法,我们没核到」。
2. 全书一条主线
这本书是一条从头贯到尾的因果链:每一步都是被上一步的结论逼出来的。 下面把这条链完整走一遍 —— 不看后面任何一章,只读这一节,你也能把这本书讲给别人听。
机制细节全部留给对应的章节,这里只讲「发生了什么、为什么只能这样」。
① 反差:考卷上它已经赢了,生产上它没赢
在一套研究生级的科学考题上,最好的那批 AI 能考到 94 分以上, 而请来的博士专家平均只有 70 分左右3。另一套题更像真活:从真实的软件项目里翻出 真实的缺陷让它改代码——这类源代码人人可看、可下载的项目叫开源项目——它们解决了八成半。
可同一时期,麻省理工的一项调查说:企业里九成半的 AI 试点项目拿不到可测量的回报4 —— 要么测完就废弃,要么根本没上生产,要么低于预期。 (书里用的词叫生成式 AI——指的是它会自己写出新内容,而不是从一个现成的库里挑一条给你。)
考卷赢了、生产输了。落差到底在哪?
② 落差不在能力,在「换个环境还成不成立」
有人把那套软件考题换掉了:同样的题型,但换成这些 AI 从没见过的代码库。 同一批高分选手,从八成半掉到六成上下5。
题没变难,只是不熟了。作者给这段落差起了名字:可靠性落差。 全书的中心论断就一句话:在考卷上强,和在真实世界里靠得住,是两回事6。
那「靠得住」到底要什么?
③ 传统软件那套指标,漏掉了一整维
作者给的定义只有一句:产出准确的输出 + 采取安全的动作 + 在真实条件下长期保持质量7。
要命的是第一项。传统软件看的是在不在线、报不报错、快不快——这些全都测不出「它答错了」。
你的系统可以 99.99% 在线,同时自信地给出错答案。8
这一维叫语义正确性:内容对不对。它在任何一块运维面板上都没有格子。 这就是全书要填的那道缝。
这一维最典型的失效长什么样?
④ 幻觉:一种不会宣告自己存在的错
一位律师让 AI 帮他找判例,拿回六条,案名合规、卷宗号和年份格式完美、法律说理读着也通。 他写进诉状交给联邦法院。然后法官的书记员打来电话:这六个案子一个都不存在9。
这就是幻觉:模型编出事实上错误的内容,却用和它说对时一模一样的自信语气说出来。
它不是 bug,是机制的产物。 关键的一条: 在它开口之前,整条链上没有任何一步去对照真相检查10。 它学的是「权威内容长什么样」,写的是「像样的下一个词」——从来没有「这句是真的吗」这一步。
所以调低它的随机度治不了幻觉(为什么,第 02、03 章讲)。既然治不了,只能围堵。 围堵分三层,这三层就是这本书的目录本身。
⑤ 【第一层 让它说得准】把回答钉在真东西上
把话说清楚(最快、最便宜)
└─ 可它不知道你家的退货政策 ── 训练时没读过,再怎么说也说不出来
└─ 那就先去把政策文档取回来,再让它照着答
└─ 可「取」这一步自己会失败:答案在库里,就是取不到
└─ 那就得懂「取」是怎么回事:文字变成数、按远近找、找完再排一遍
└─ 可有些东西不是「知识」是「行为」
(格式、语气、这一行的判断力)—— 那才轮到改模型自己
图说:每一层都是被上一层的失败逼出来的,不是谁设计了一个体系。
这条链上有三级各带一个名字,你出门到处都会撞见,先挂在这里。
第一级是你打给它的那段话——包括你交代的规矩、你给的材料、你要的格式——这段话就叫提示词。
第二级是「先按你的问题去一堆资料里找出相关的那几段,再让它照着答」, 其中「去找出来」这个动作叫检索。
第三级是「真的去改它内部那些数」,这个动作叫微调。
这里有一条实用判据,值得先记住:微调是最后一步,不是第一步。 作者的起手式是一条阶梯——先把话说清楚,不够就去取资料,要这一行的专长才考虑微调, 要它动手才小心地放权;而「怎么知道它做得对」这件事从第一天就要有11。
说的话可信了,能不能让它动手?
⑥ 【第二层 让它做得安全】赌注换了一个量级
答错很尴尬,做错可能是灾难。 书里给的两个坏结局很具体: 把你订到得州那个也叫巴黎的小城,而不是法国巴黎; 「顺手清理」客户数据库,几秒钟毁掉几年的工作。
而且有一笔账必须先算清:
每一步 85% 可靠的流程,走 10 步,整件事办成的比例只剩约 20%。12 (0.85 自乘十次约等于 0.197。这个数解释了后面九章为什么要花那么大力气。) 「从头到尾整件事办成」这个口径有个名字叫端到端——和「每一步分别对不对」相对。
一件事只要拆成十步交给它自己做,「每步都挺准」根本不够。 于是这一层的全部内容,都是在给 这条乘法上保险:让它记得住上一轮说了什么、 让它能真的去调外部系统、让每一步的失败不要传染给下一步、 让要对接的外部系统多起来的时候不要变成一团谁也改不动的线。
业界管这种「不光会说、还能自己动手办事」的 AI 叫 agent,中文也叫智能体。 这本书的第二层讲的全是它——注意它不是一种更聪明的模型, 而是在同一个模型外面加了几样东西之后的结果(加了哪几样,第 12 章讲)。
它会做事了,怎么知道它一直做得对?
⑦ 【第三层 让它长期不退化】三个被逼出来的发现
第一件事是能不能量——不量就只能凭感觉改。
而一量出来,第一件被颠覆的事是钱和时间到底花在哪: 一次问答里,模型自己吐字这一步吃掉了九成的时间、九成七的费用, 其余所有环节加起来不到一成13。
所以省钱的动作是让它少说话,不是换更快的机器。 这条结论把「该先动哪儿」的次序整个掉了个头。
可这些数字不是量一次就完了。 供应商会悄悄把模型换掉; 用户提问的方式会慢慢变;同一套系统的表现会自己往下走。 于是 必须长期盯着,而不是上线前测一次。
而盯着盯着会撞见一类失效,任何指标都不显示:系统对不同的人不一样好。 它不宕机、不报错、总体准确率也不掉——但它对某一群人系统性地更差。 书里那个最重的案例:一家大公司开发了四年的简历筛选系统, 学会了给写着「女子象棋社社长」的简历扣分,而代码里没有一行写着歧视女性。
这就逼出最后一层。 书的立场很硬:会歧视、会漏数据的系统就是不可靠的,不管准确率多少。
⑧ 闭环:第三层反过来喂回第一层
这三层不是往上叠的三块砖,是一个圈:
①说得准 ──→ ②做得安全 ──→ ③长期不退化
▲ │
└─────────────────────────────┘
量出来的弱点回去改说法 · 盯出来的失败暴露「取」 这一步的漏洞
· 群体差异暴露训练材料本身的缺口
图说:书里原话是「量出来的结果找出弱的说法、盯出来的异常抓到取资料时的失败、
群体差异揭出训练材料的缺口」。这是全书主线的最终形态。
全书收在六条原则上:把输出锚在已核实的信息上 / 把动作约束在安全范围里 / 持续盯着 / 公平对待所有用户 / 保护隐私 / 从第一天就建起「怎么判断它做得对」14。
这本书真正的落点是这个闭环和这六条,不是任何一章的技术。 第 1 章立的三层框架不是事后分类——它就是这本书的目录本身:立完框架,后面十章一章一格地填。
3. 章节地图
这张表不用记任何术语 —— 每一章的名字后面,写的是「读完你能回答什么问题」。
这本书原有 11 章,我们拆成 21 章。 拆的依据是生面孔的密度:原书有八章各自要立起 十五到二十五个「学过这行才懂」的词,一章塞不下,读者必崩。哪几处怎么挪的,见第 5 节。
第一层:让它说得准(01–11)
| 章 | 读完你就能回答 |
|---|---|
| 01 可靠性落差 | 它考试考得比博士好,为什么公司用起来不行?「可靠」到底指什么? |
| 02 幻觉 | 它为什么会一本正经地编?为什么把随机度调到 0 也不管用? |
| 03 挑词的旋钮与选模型 | 同一句话问两遍为什么答案不一样?文档里那几个可调的设定各管什么? |
| 04 提示词的五级阶梯 | 它算错一道小学题,为什么让它「把草稿写出来」就对了? |
| 05 把回答钉在文档上 | 它不知道你家的政策,怎么让它照着文档答?这套做法自己要付什么代价? |
| 06 把意思变成坐标 | 两句话一个共同的词都没有,机器凭什么知道它们说的是同一件事?这一章是后面三章的枢纽,别跳 |
| 07 检索为什么还会失败 | 答案明明在库里却取不到,是怎么回事?为什么「多取一点」反而更差? |
| 08 规模化与漂移 | 几百万份资料怎么还能毫秒级找到?三个月后它为什么开始找不着东西了? |
| 09 检索取对了吗 | 怎么判断这一套到底对不对?为什么「看回答里有没有原文没有的词」这招会两头错? |
| 10 什么时候该微调 | 什么时候该真的去改模型?改了之后为什么反而答不出「这句依据哪份文件」? |
| 11 微调怎么做 | 「训练」这一步到底谁在改什么?为什么只调两千分之一的那些数就够? |
第二层:让它做得安全(12–16)
| 章 | 读完你就能回答 |
|---|---|
| 12 从「会说」到「会做」 | 它能讲清怎么订机票,为什么订不了?每一轮它为什么都像刚认识你? |
| 13 让它动手的那个循环 | 它怎么决定先做哪件事?外部系统半天不回话时它会干什么? |
| 14 工具怎么被发现 | 五个应用接十个系统为什么是五十套集成?那套统一规范管到哪一层为止? |
| 15 优雅地失败与「载具」 | 工具报错时,给模型看什么它才用得上?同一个模型换个外壳为什么差那么多? |
| 16 拆成多个 AI 分工 | 为什么一个什么都干的 AI 会什么都平庸?拆开之后 bug 长在哪? |
第三层:让它长期不退化(17–21)
| 章 | 读完你就能回答 |
|---|---|
| 17 怎么知道它是对的 | 「有没有依据」怎么变成一个能报的数?让另一个 AI 当评审,谁来审评审? |
| 18 四个性能模式 | 同一个问题被问三百遍,怎么不花三百遍的钱? |
| 19 上线之后 | 面板全绿而顾客在流失,该记什么、该报什么警? |
| 20 偏见 | 没有一行代码写着歧视,它为什么在歧视?法律上现在已经要求什么? |
| 21 隐私、安全与六条原则 | 用户打进去的身份证号去了哪里?「删掉我的数据」为什么在这里做不到? |
推荐顺序: 从 01 顺着读。只想拿结论的话,读本页第 2 节 + 第 01 章 + 第 21 章的六条原则。 手上已经有一个在跑的系统、想查漏的话,直接按三层去找对应的那一段。
4. 覆盖什么、不覆盖什么
这两张表和上面那张地图一个口径:不用记任何术语。
覆盖(而且讲得比多数材料清楚)—— 读完你能回答:
- 为什么考卷分数不能当选型依据,以及「可靠」该拆成哪几件事分别去测;
- 它为什么会一本正经地编,以及为什么这件事不能靠「调几个设定」解决;
- 怎么让它照着你自己的文档回答,这套做法的每一步会怎么坏,坏了怎么 修;
- 文字怎么被变成一串数、机器怎么靠这串数找到「说的是同一件事」的段落;
- 什么时候该真的去改模型、改了会失去什么,以及改一个大模型为什么能只用一块游戏显卡;
- 让 AI 自己动手办事要补上哪三样东西,以及为什么「每步都挺准」根本不够;
- 上线之后钱花在哪、时间花在哪(书里这个发现直接把「该先改哪儿」的次序掉了个头);
- 一个系统怎么会一边全绿一边系统性地伤害用户,以及现在的法律已经要求你做什么;
- 外加大量作者给自己的示例代码打的补丁——「这么写在生产里很脆」「这个做法有法律风险」 ——这些坦白往往比正文更值钱。
不覆盖(别指望在这本里找):
| 缺什么 | 说明 |
|---|---|
| AI 内部是怎么造出来的 | 它默认你已经知道。想补这一块,读我们书架上的《这就是 ChatGPT》拆解 |
| 怎么把一个模型从头训成会聊天的 | 「拿人的偏好去调它」这条线只有一段,几种主流做法一概没讲 |
| 看图、听声音这些本事的实质 | 书里的做法只是「先调个描述模型,拿到一句话」,图本身怎么被理解一个字没提 |
| 怎么把模型跑得更快 | 几个业界标准的服务软件只出现了名字,没有任何展开 |
| 有人故意攻击你的 AI 时怎么办 | 点了名(「你建的每个工具都是入口」),但攻防细节没有展开 |
| 具体单价 | 作者刻意不给,因为会过期。所以书里的成本论证都是比例,不是绝对值 |
| 中文和多语言场景 | 全书以英文为默认;切文档、找相似这两步在中文上的差别一个字没讲 |
5. 我们把章序动过的地方
原书是三层框架 + 十一章。我们保留了三层,但把顺序动过几处——每一处都写清了理由, 免得你拿我们的章号去对原书时对不上:
| 怎么挪的 | 为什么 |
|---|---|
| 「它为什么会编」从原书第 1 章里拆出来,单独成第 02 章 | 它是全书的敌人,后面十九章都在治它。塞在第 1 章末尾会被当成一个小节略过 |
| 原书第 2 章末尾那个「让模型自己开口说要调哪个函数」的项目,挪到第 05 章 | 它和「先取资料再答」是同一件事的两种形态,放一起省一次铺垫 |
| 原书第 3 章后半(怎么评检索、怎么改检索)整块后移到第 09 章,让第 06 章的「文字变成数」先讲 | 那一块全程在用第 06 章才讲的东西。排在前面,读者只能把那些指标当口诀背下来 |
| 原书第 3 章 §3.6.5 整节(包括那篇「中间会丢」的论文)挪到第 07 章 | 它整节回答的都是「取回来之后还要做什么」,和排序对不对是同一件事 |
| 原书第 4 章的「怎么切文档」挪到第 05 章 | 切分本来就是「给资料建一份可查的目录」那四步里的一步,书把它拖到两章之后才讲 |
| 原书第 9 章拆成第 17(评测)和第 18(性能)两章 | 这是两件事,挤在一章里生面孔密度爆表 |
| 原书 §1.6 的监管紧迫性挪到第 20 章 | 它回答的是「为什么现在非做不可」,和第 20 章开头的合规义务是同一件事 |
6. 我们的判断
判断(我们的,不是书里的): 这本书最值钱的不是任何一项技术, 是那把三层的尺子:输出 / 动作 / 运营。它简单到能背下来, 而且能拿去评估任何一个 AI 系统——包括这本书出版之后才出现的那些。 书里的具体做法会过时(它自己引的库和平台名两年内就会换一批),尺子不会。 如果错,会错在: 如果将来「说得准」和「做得安全」在工程上合并成了同一件事 (比如模型自己内建了核对步骤),这把尺子的前两格就会塌成一格,分层的价值随之下降。
判断(我们的,不是书里的): 这本书最该被单独拎出来的一条, 是**「量出来之后第一件被颠覆的事」:钱和时间九成以上花在模型吐字这一步上。 它的价值不在数字本身,在于它证明了「凭直觉去改」会系统性地改错地方**—— 大多数人的第一反应是去改基础设施,而那里只占不到一成。 如果错,会错在: 这组比例是在一个「取资料 + 生成」的客服系统上量的。 如果你的系统取资料那一步特别重(比如每次要扫上百万份文档),比例会变。 判据是:自己拉一次分段计时,别信书里的百分比。
判断(我们的,不是书里的): 这本书最好的部分是它的坦白,最弱的部分是它的数字。 它反复给自 己的示例代码打补丁(「关键词匹配在生产里很脆」「按名字猜族裔有法律风险」 「让 AI 当评审,评审自己也会编」),这种自我拆台在同类书里罕见,也最该带走。 而它引的 2026 年商业数字一个参照物都没有,作者本人又是卖 AI 落地服务的, 这批数字我们在拆解里全部标注了来源与我们的核实结果,请不要转引。 如果错,会错在: 如果那些数字后来被一手来源确认无误, 我们「不要转引」这条就过严了——但即便如此,没有参照物的数字仍然不构成论据。
7. 许诺兑现表
这份拆解里每一处「第 N 章讲」「后面会讲」,都在这里记一行、逐行核过。 核的是两件事:那一章真的讲了吗?讲的是不是许诺的那件事,而不是同名的另一件事?
| 许诺在哪 | 许诺了什么 | 应兑现在哪 | 核过了吗 |
|---|---|---|---|
| 本页 §30 秒导读 | 它为什么只能一个词一个词地写 | 02 §2 | ✓ |
| 本页 §2 ④ | 调低随机度为什么治不了 它 | 02 §5、03 §2 | ✓ |
| 本页 §2 ⑤ | 「微调是最后一步」这条阶梯 | 01 §8、10 §1 | ✓ |
| 本页 §2 ⑥ | agent 是在模型外面加了哪几样东西 | 12 §3 | ✓ |
| 本页 §3 地图 06 | 两句话没有共同词、机器凭什么知道是同一件事 | 06 §2、§3 | ✓ |
| 本页 §3 地图 09 | 「看有没有原文没有的词」为什么两头错 | 09 §5 | ✓ |
| 本页 §3 地图 11 | 只训两千分之一为什么够 | 11 §5 | ✓ |
01 §4 | 幻觉的四条成因各在链条的哪一步 | 02 §4 | ✓ |
01 §6 | 四句工程结论里另外三句各落在哪 | 05+09(编造引用)、05+19(说错政策)、17(代码里有洞) | ✓ |
01 §6 | 「动作不安全」这一类怎么治 | 13 §2、15 §6 | ✓ |
01 §7 | 三层框架各自对应哪几章 | 02–11 / 12–16 / 17–21 | ✓ |
01 §8 | 「先取资料再让它照着答」这套做法是一整章 | 05 全章 | ✓ |
01 §8 | 「改进去的知识是死的」这条决策 | 10 §5 | ✓ |
01 §8 ⑤ | 评测与监控为什么从第一天就要有 | 17 §2、19 §2、21 §8 第 6 条 | ✓ |
01 §9 | 「每步 85% 走十步只剩两成」那笔乘法该拿来 做什么决定 | 12 §4 | ✓ |
01 §9 | 面板全绿而系统在错,这个形状还会再出现一次 | 19 §2 | ✓ |
01 §10 | 监管那一块被我们整块挪走了 | 20 §5 | ✓ |
01 §10 | 「把随机度调到 0 也治不了」那条实操建议的由来 | 03 §2 | ✓ |
02 §4 | 四条成因各该用哪一层的手段 | 05–09、12–15 | ✓ |
02 §4 | 事后拿一套东西去核它写的每一条主张 | 17 §5 | ✓ |
02 §5 | 「同一句话问两遍答案不一样」那个旋钮在调什么 | 03 §2 | ✓ |
02 §6 | 「与世界知识矛盾」(没材料、自己编)靠什么治 | 05 §3 | ✓ |
02 §6 | 「与所给材料矛盾」(有材料也说错)靠什么治 | 09 §5、17 §5 | ✓ |
02 §6 | 「给对了材料它照样可能编」会带着具体例子回来 | 05 §6 | ✓ |
02 §8 | 「幻觉率」这个数要到后面才有办法算 | 17 §4 | ✓ |
03 §1 | 调用时传进去的那些设定,和模型内部那些数是两回事 | 11 §2 | ✓ |
03 §5 | 「让它把中间步骤写出来,答得反而更准」那套做法,后面整节讲 | 04 §5 | ✓ |
03 §7 | 「同一题问几遍」这个动作,在第 04 章拿到一个正式名字 | 04 §7 | ✓ |
03 §7 | 「同一题问几遍」到后面会变成一种评测手段 | 17 §7 | ✓ |
03 §8 | 「九成七的费用花在模型吐字这一步」 | 19 §5 | ✓ |
03 §8 | 「什么时候该换模型」的四个信号 | 19 §9 | ✓ |
03 §8 | 「可以改成自己这一行的样子」怎么改 | 10、11 两章 | ✓ |
04 §3 | 「它不知道你家的事」提示词永远救不了,那靠什么 | 05 全章 | ✓ |
04 §6 | 让模型当评审 | 09 §4、17 §7 | ✓ |
04 §6 | 让模型判读用户意图 | 16 §4 | ✓ |
04 §6 | 让模型在训练时批评另一个模型 | 20 §9 | ✓ |
04 §7 | 「多采几次再比对」的代价会被重新算一遍,并变成一种评测手段 | 17 §5、§7(多评审投票) | ✓ |
04 §11 | 性能与成本那一节 | 18 §2–§6 | ✓ |
05 §2 | 「答案要同时取两份文档」这条线索会长成一个专门的手段 | 09 §8 | ✓ |
05 §4 | 「转成一串数」那一步的机制 | 06 §2、§3 | ✓ |
05 §4 | 检索四类失效里的 ③④ 由后面三章去修 | 06–08 | ✓ |
05 §6 | 「给对了材料它照样可能编」怎么量 | 17 §4 | ✓ |
05 §6 | 「取回来的对不对」 怎么修 | 07 全章 | ✓ |
05 §6 | 「写出来的忠不忠于材料」怎么核 | 09 §5、17 §5 | ✓ |
05 §7 | 「只判断像不像、不生成任何东西」的那类模型 | 06 §2、§4 | ✓ |
05 §8 | 「模型自己开口说要调哪个函数」和那套统一规范的分水岭 | 14 §4 | ✓ |
05 §8 | 「工具描述是写给模型看的路由指令」会变成硬规矩 | 14 §5 | ✓ |
05 §8 | 「会改变外部世界的动作」跨过的那条线 | 13 §2 | ✓ |
05 §8 | 工具多起来之后怎么管 | 14 §2–§4 | ✓ |
06 §4 | 「换供应商要把整库重算」会以「漂移」的面目再来一次 | 08 §6 | ✓ |
06 §6 | 一串数的长度砍到四分之一为什么省钱 | 08 §4 | ✓ |
06 §6 | 「两侧从不直接互相看」会变成一个真实的短板 | 07 §5 | ✓ |
06 §6 | 「用户点击这个免费信号自带偏差」的更严重版本 | 20 §7 | ✓ |
07 §3 | 关键词那一路的老将为什么至今不可替代 | 07 §3 本节内兑现 | ✓ |
08 §4 | 「少存几位」这个动作作用在模型自己那些数上会怎样 | 11 §6 | ✓ |
08 §8 | 漂移在生产里怎么被发现 | 09 §2(按周跑的那套检索质量指标)、19 §9 第 ① 条 | ✓ |
09 §1 ⑨ | 有一类问题不管怎么改问法都答不了 | 09 §8 | ✓ |
09 §4 | 评审模型更完整的形态 | 17 §7 | ✓ |
09 §4 | 评审自己也会编,以及三条缓解、固定标签 | 17 §7 | ✓ |
09 §5 | 那把从机器翻译搬来的尺子 | 17 §6 | ✓ |
09 §5 | 把回答拆成一条条主张逐条核 | 17 §5 | ✓ |
09 §7 | 「顺带的好处」会长成一整节 | 18 §4(按意思复用已经答过的问题) | ✓ |
09 §7 | 「改造模型本身」这条线讲得完整得多的地方 | 10、11 两章 | ✓ |
10 §1 ④ | 微调过的模型为什么答不出来源 | 10 §3 | ✓ |
10 §7 | 「学了新的、把旧的挤掉了」那件事,下一章有个更反直觉的版本 | 11 §7 | ✓ |
10 §8 | 「训练数据里的不平等」会变成一整章 | 20 §7 | ✓ |
10 §10 | 具体怎么训、要什么硬件、训练时那几个设定各填什么 | 11 全章 | ✓ |
10 §10 | 微调之后怎么评估 | 17 §4 | ✓ |
12 §9 | 它只讲了「上一轮说过什么」,中间结果算不算 | 16 §3(那块公用白板) | ✓ |
12 §3 | 多步流程怎么被统一调度起来 | 16 §3 | ✓ |
12 §3 | 检索与工具真正的分 水岭 | 13 §2 | ✓ |
12 §5 | 「把能认出是谁的部分换掉」这件事怎么做、漏了会怎样 | 21 §4 | ✓ |
12 §5 | 长期留着用户数据的合规义务 | 21 §5 | ✓ |
12 §7 | 「把散的自然语言收成固定格子」再出现一次 | 16 §3(那块公用白板) | ✓ |
12 §9 | 「每步 85% 走十步只剩两成」的对策散落在哪几处 | 13 §4、15 §3、17 §9 | ✓ |
12 §9 | 那套图式状态管理的正主 | 16 §3、§8 | ✓ |
13 §7 | 「让模型判模型」的第四次出现,以及它自己的毛病 | 17 §7 | ✓ |
13 §10 | 护栏的药方(多层安全系统),并改正原书引错的章号 | 21 §2 | ✓ |
13 §10 | 「让 AI 给 AI 打分再拿去改进模型」的完整形态 | 20 §9 | ✓ |
13 §10 | 这一章没讲的两块:工具怎么被发现、错误怎么呈现给模型 | 14 全章、15 §2–§4 | ✓ |
14 §8 | 审批与安全责任落在哪 | 15 §6、§8 | ✓ |
15 §10 | 提示词注入能补到什么程度 | 21 §2、§3 ③ | ✓ |
16 章首导语 | 从这里起进入第三层 | 17–21 | ✓ |
17 §2 | 闪购那天「都送最贵的模型、同样的问题每次从头重答」这一半是性能问题 | 18 §1 | ✓ |
17 §7 | 评审挂成定期抽样告警的那根管子,生产里怎么跑 | 19 §7 | ✓ |
18 章首导语 | 上线之后怎么长期盯着 | 19 全章 | ✓ |
19 §7 | 三层质量防御和安全三层是同一个结构 | 21 §2 | ✓ |
20 §6 | 四层防御的后两层 | 21 §2、§3 | ✓ |
这张表这一轮是这么核的(说清楚办法,你才知道它值多少):
- 先把每一章里所有往后指的句子机械地抄出来——正文里每一处「第 NN 章」以及 「后面会讲 / 留到后面」这类不点名的吊胃口,连同它所在的小节号一起;
- 再和表里的行逐条对照:表上有、正文里却找不到那句话的,是假许诺; 正文里有、表上没有的,是漏记;
- 最后打开每一个目标小节,确认它讲的是许诺的那件事,而不是同名的另一件事。
这一轮因此改掉 17 行、补上 23 行,表从 65 行变成 88 行, 全书再没有一处「第 NN 章」是表上没记的。 改掉的那 17 行是三种错法:
| 错法 | 例子 |
|---|---|
| 许诺的位置写错 | 起手式阶梯在 01 §8 不是 §6;「转成一串数」的机制承诺在 05 §4 不是 §5 |
| 兑现的位置写错 | 两千分之一那笔账在 11 §5 不是 §4;「少存几位」作用到模型上是 11 §6 不是 §5 |
| 表上写着、正文里根本没这句话 | 「那笔乘法」和「少存几位」两条— —这两处我们把正文补成了真正的往后指,而不是把行删掉;「那类答之前先想一会儿的模型用不上这些旋钮」那条,则换成了 03 §7 真正许下的那件事;「压过的模型不能微调」那条正文从没许诺过,直接删 |
一条记账口径:同一笔许诺在正文和「边界与局限」里各说了一遍的,只记正文那一处
(例如 05 §6 说过「取回来的对不对靠第 07 章」,§10 的边界里又说了一遍,表上只有前一行)。
纯导航性质的章节范围(三层框架图里的「第 17–21 章」那种)记成一行,不拆到节。
拆解写于 2026-08-29,依据 Manning MEAP V12(2026)。原始书籍文件不入库,
本组文档是我们自己的重写;每条引用都可用 node scripts/book-verify.mjs building-reliable-ai-systems-meap-v12 回核。