跳到主要内容

《大模型与智能体》拆解大纲(定稿)

一节一行,每行写成「进来时以为…… → 出去时知道……」。 本稿是审读意见之后的第二版,三批修改已全部落进节序与落点里(改了什么见文末「审读意见对照」)。

原书:邱锡鹏《大模型与智能体》,17 章。拆成 18 章 + 总纲, 其中原书第 6 章「大模型工程」被拆成训练侧(并进第 09 章)与推断侧(第 10 章), 原书第 3 章「Transformer」被拆成标准结构(第 03 章)与架构演化(第 04 章)。


index.md(总纲,handwritten: true)

进来时以为 → 出去时知道
1 30 秒导读以为这是一本讲「怎么用 ChatGPT」的书 → 知道它讲的是同一条链:能力怎么长出来、行为怎么被塑形、系统怎么部署、模型怎么接上世界、行动怎么被组织、风险怎么被约束
2 这是谁在什么时候写的以为是某家公司的宣传材料 → 知道作者是复旦大学邱锡鹏,2026 年成书,他自己团队做过国内第一个公开的对话模型,写作时带着学界视角与利益相关
3 全书一条主线以为「大模型」和「智能体」是两个不相干的热词 → 能不看任何拆解章,把这十四步链条复述一遍
4 章节地图以为要从头读到尾 → 知道哪几章是地基、哪几章可以按需跳读、哪一章是自己现在最该读的
5 覆盖什么 / 不覆盖什么以为这一本能替代同作者的另外三本 → 知道四本各自独立完整,想要另一面该去看哪本
6 我们的判断以为拆解只是复述 → 知道哪几处是我们自己的判断,以及它们如果错会错在哪
兑现表——

01-from-answering-to-doing.md —— 从回答到做事

对应原书第 1 章。

进来时以为 → 出去时知道
1 一扇门被换掉了以为变化是「聊天机器人变聪明了」 → 知道换掉的是「谁去学谁的语言」这个方向
2 一个回答问题,一个完成任务以为智能体就是更大的模型 → 知道它是系统层的概念,大模型只是里面那颗大脑
3 套娃:四个词的层级以为人工智能、机器学习、深度学习、大模型是同义词 → 能画出这四个同心圆,并说出每一圈为什么会扩张
4 为什么先在语言上突破以为语言只是最容易做的那个 → 知道文字是人类几千年反复压缩过的一座矿藏,别的模态没有这个属性
5 猜下一个词为什么能逼出世界知识以为「预测下一个词」只是个填空游戏 → 知道要猜对某些空,模型不得不把形状、指代、物理常识和地理事实压进参数
6 这一轮为什么不同以为只是「模型更大了」 → 知道是三件事让它懂得更多、一件事让它开始做事
7 涌现:量变到质变,以及这个说法的争议以为能力是被一项项加进去的 → 知道有一类能力在规模跨过某个区间后才可用,也知道这条曲线有多少是评测尺度造出来的
8 钱花在哪里以为算一次账就够了 → 知道训练成本像造飞机、推断成本像每次飞行的油钱,两本账的形状完全不同
9 谁会先被改变以为先被替代的是体力活 → 知道被碰到最多的恰恰是屏幕前的语言和符号工作,并记住两个百分比及其参照物
10 格局:三类模型各司其职以为最终会有一个模型统治一切 → 知道闭源前沿、开放权重和端侧小模型各有各的位置
主走查一句「帮我订一张下周去上海的高铁票」:切词元 → 逐词生成 → 它只会说不会订 → 接上工具才真的查和下单 → 每一步的词元账 → 这个任务落在暴露度的哪一端

02-neural-network-foundations.md —— 必要的地基

对应原书第 2 章。

进来时以为 → 出去时知道
1 三十年低谷以为深度学习是 2012 年发明的 → 知道算法 1986 年就有,等的是算力、数据和一批治具体失败的解药
2 学习是什么以为程序都要靠人把规则写全 → 知道另一条路是给例子、让它自己把规律压出来
3 为什么要学表示以为模型直接比像素就行 → 知道原始数据不是适合决策的形状,得先换一种表达
4 一个人工神经元以为神经元很神秘 → 能自己写出「加权求和再过一次弯折」这一行算式
5 为什么非得有那个弯折以为激活函数是可有可无的装饰 → 能自己推出:去掉它,堆多少层都等于一层
6 层层堆叠与逐步抽象以为深只是参数更多 → 知道深带来的是更复杂的函数复合方式,浅层学边缘、深层学对象
7 卷积:看图像的两个想法以为处理图像也用全连接就好 → 知道局部连接和参数共享分别对应关于世界的哪条假设
8 循环:处理序列,以及它记不住远处以为给网络加个记忆就够了 → 知道信息每传一步都要乘一次权重,几十步后就衰减没了
9 训不动的三种病以为训练就是「跑起来等它收敛」 → 能区分走不动、信号失真、学得太死这三类不同的病
10 优化器:决定你怎样走以为优化器只是个代码选项 → 知道它决定步伐、惯性和每个方向各自的步长
11 让训练站稳以为初始化只是训练前的小事 → 知道初值、规范化和残差是「训得起来」的三根支柱
12 正则化:别让它只会背题以为训练损失越低越好 → 知道损失为零常常正是过拟合的预兆
13 损失函数:评分表以为损失函数只是个数学细节 → 知道评分表写歪了,模型会非常努力地朝错方向进步
主走查一张手写的「7」:784 个像素 → 256 维隐藏层 → 10 个输出 → Softmax → 交叉熵 → 反向传播改一个权重;第 ⑦ 步换成 3×3 卷积核走一遍(写出那 9 个数和那一个输出值),第 ⑧ 步把「我生在上海……所以我说___」按词喂进循环网络(写出隐状态每步乘一次权重后的衰减数)

03-attention-and-transformer.md —— 注意力与标准结构

对应原书第 3 章 3.1–3.5。

进来时以为 → 出去时知道
1 相关的东西不挨着以为按顺序一步步传信息就够了 → 知道远处的信息传过来会衰减,而且没法并行
2 字典查询:查询、键、值以为注意力是个玄学名词 → 能用「柔性查字典」把三个角色各自的职责说清
3 缩放点积:一张 N² 的关系表以为注意力只是加权平均 → 知道它的力量和麻烦来自同一张表:任意两点直连,但表随长度平方膨胀
4 自注意力:让序列内部互相看以为查询和键必须来自不同地方 → 知道让它们都来自同一个序列,就把「距离」这件事从障碍变成一次点积
5 多头:同一句话的几个视角以为一次注意力就够 → 知道语法、指代、语义各需要一套不同的相似度尺子
6 位置编码以为词序是天然带着的 → 知道打乱词序自注意力的结果完全一样,所以顺序必须被显式塞进去
7 同样的积木,三种搭法以为 BERT 和 GPT 是两种不同的网络 → 知道底层积木完全一样,差的只是注意力能不能向后看
8 它内部到底在想什么以为神经网络是彻底的黑箱 → 知道有三条路线在往里看,以及每条能看到什么、看不到什么
9 上下文学习以为要教它新任务就得改参数 → 知道只改输入也能让它照着做,并知道这件本事是预训练的副产物
10 几个看起来可有可无的小设计以为 Softmax、前馈宽度、规范化位置都是随便定的 → 知道每一个背后都压着一次具体的训练失败
主走查「那只猫没过马路,因为它太累了」处理到「它」这一步:生成查询 → 和七个键各算一次点积(分数已除过根号 d) → 指数化并写出分母 → 权重 → 加权取值 → 八个头拼接 → 过前馈 → 残差写回

04-architecture-evolution.md —— 架构演化

对应原书第 3 章 3.6–3.10。

进来时以为 → 出去时知道
1 架构创新为什么越来越像系统创新以为架构比的是「表示能力更强了吗」 → 知道一个训不了、扩不动、推断吞吐差的结构,再漂亮也当不了主流
2 一张账本以为新架构只要跑分高就赢 → 知道每一次改动都要在能力、训练成本、推断成本、工程复杂度四栏上同时记账
3 上下文窗口以为「窗口」只是个营销数字 → 知道它就是这一次推断能看见的输入范围,而且这个名字全书只有一个
4 把窗口拉长的三件事以为把窗口数字调大就完了 → 知道还要位置外推、长程数据和一套专门的评测,否则只是「读得快、读不懂」
5 稀疏激活与混合专家以为参数多就必然每步都算得慢 → 知道可以把「总参数」和「每次激活的参数」分开
6 路由、负载均衡与专家塌缩以为把专家堆起来就赢了 → 知道最难的是把词元分得既准又散,不然只有少数路径在真正学习
7 混合专家的工程账以为稀疏就等于省钱 → 知道代价从计算转移到了路由、通信和显存常驻
8 KV 缓存与三条把它压下去的路以为「缓存」是个实现细节 → 先知道这份缓存为什么必须存在(生成第 N 个词要重看前 N−1 个词),再知道所有头共享、分组共享、压成低秩这三种压法
9 检索增强生成(RAG)以为知识只能存在参数里 → 知道可以把一部分挪到外面,模型的任务从「记住一切」改成「知道去哪儿找、拿回来怎么用」
10 状态空间与其他新路线以为注意力是唯一答案 → 知道有一类模型靠「一个压缩状态」代替回看全部历史,以及它为什么至今没能全面替代
11 怎么评价一个架构创新以为看一个基准分数就够 → 知道要同时问训练账本和推断账本,两边都过得去才算成立
主走查一份 12.8 万词元的合同进入模型:窗口能不能装下 → 位置外推稳不稳 → 每层每头的缓存吃掉多少显存 → 换成分组共享省几倍 → 关键条款靠检索取回而不是硬塞

05-pretraining.md —— 预训练

对应原书第 4 章。

进来时以为 → 出去时知道
1 数据从哪来以为好数据就是标得干净的数据 → 知道人工精标的路走不通,转折点是「数据本身就带着监督信号」
2 十万亿词元有多大以为「很多数据」是个模糊的形容 → 有一个能复述的参照物:相当于九千多万本书,一个人每天读一万词要读两百多万年
3 洗数据比换技巧更管用以为规模自动等于质量 → 知道去重、过滤、去污染和配比表决定了模型的脾性
4 训练目标:接龙、完形填空,还是对照以为自监督只有「预测下一个词」一种玩法 → 知道三种目标各自塑造了什么表示,以及填空学到的双向表示今天退到搜索召回和向量化里继续当骨干
5 分词:模型眼里的文字不是字以为模型是按字读的 → 知道它读的是一串编号,并知道很多「数不清字母」的怪错误就出在这里
6 规模法则以为堆参数就够 → 知道参数和数据要按比例同步放大,以及 2024 年之后这条比例又被推断成本改写了一次
7 能力怎么长出来以为能力是被一条条教进去的 → 知道是「为了把预测做对,它不得不学会生成预测所需的中间结构」
8 训练机制:批、学习率、优化器以为这些是能随便设的旋钮 → 知道学习率是最敏感的那一个,以及预热和退火各自在治什么
9 速算表以为「能不能训得动」要跑起来才知道 → 能用三个量纲公式在半分钟里估到两倍以内
10 混合精度以为精度越高越好 → 知道对大模型训练来说「范围够宽」比「小数位够准」更要紧
11 预训练的代价以为预训练只有好处 → 知道它同时带来了算力门槛、数据偏差、版权争议,而且基座还不是助手
12 评测的基本框架以为看排行榜就行 → 知道要分清能力、对齐、风险三类评测,并知道数据污染为什么很难根除
主走查一句「上海是中国的金融中心」:从网页抓下来 → 去重与过滤 → 切成词元编号 → 前几个当输入、下一个当答案 → 算一次损失 → 6ND 估算这一句花了多少浮点运算 → 这句话最终变成参数里的什么

06-post-training-alignment.md —— 后训练与对齐

对应原书第 5 章。

进来时以为 → 出去时知道
1 落差以为模型训完就能用 → 知道能力已经在那里,但行为还没被塑成一个可合作的对象
2 指令微调以为它天然听得懂指令 → 知道要靠一批「指令-回答」样例把它从续写器拉成执行者
3 指令数据怎么造以为数据只能靠人写 → 知道手写种子、让模型自己造题、让题目变难、把做对的再训一遍这四条路怎么组合
4 数据怎么混以为把数据都倒进去就行 → 知道配比、课程和多阶段安排决定了模型在哪些能力上突进、哪些上退化
5 参数高效微调以为微调就得动全部参数 → 知道可以只动挂在旁边的一小组数,一个底座挂多套适配
6 偏好数据以为每道题都有标准答案 → 知道很多质量差别只能用「甲比乙好」来表达
7 人类反馈强化学习以为对齐是一次训练 → 知道它是三段流水线,以及每一段在工程里各会怎么咬人
8 结果奖励与过程奖励以为过程打分一定比只看答案好 → 知道在大规模强化学习这一关,有技术报告把过程裁判的失败尝试写了出来,简单可靠的结果验证加大规模采样反而更经济
9 直接偏好优化以为强化学习绕不开 → 知道带约束的偏好优化有解析解,于是可以跳过奖励模型直接改写成一个分类式损失
10 组内相对优势以为省掉价值网络会不稳 → 知道同一道题采一组答案、组内归一化就能当基线,以及这条捷径自带的两处统计偏差
11 几条实战路线以为各家做法差不多 → 能说出宪法式原则、四阶段流水线、参考策略这几条路各自的取舍
12 事实性、拒答与助手行为以为幻觉是个 bug → 知道它是训练目标的结构性副产品,并能把三种来源分开开药
13 红队与持续对齐以为对齐是一次交付 → 知道模型越强,可做的事越多,必须被约束的地方也越多
14 综合评测以为有个总分就能排名 → 知道成熟团队用的是「维度分数 + 一票否决项」
15 收益与代价以为后训练只是让它更礼貌 → 知道它也可能让错误被包装得更可信,并知道奖励作弊为什么会越来越难被察觉
主走查一条「帮我把这段话总结成三点」的样本:套进对话模板 → 只对回答部分算损失 → 同一问题采四个回答让人排序 → 奖励模型打分 → 带约束地更新策略 → 换成组内归一化再走一遍 → 上评分卡

07-reasoning-models.md —— 让它想得更深

对应原书第 7 章。

进来时以为 → 出去时知道
1 先把任务说清楚以为提示工程是玄学话术 → 看着一个失败的提示被改到能交活,并记住那五件事
2 挑模型、拆流程、避坑以为最贵的模型最好 → 知道按「任务最难的那一步」选,并把复杂任务拆成分步骤、分模型的流程
3 思维链以为「一步步想」只是个提示技巧 → 知道它背后是计算重新分配和显式中间状态两层机制
4 思维链的边界以为想得久就算得准 → 知道它写得像在算,却不保证算得对,精确计算该交给工具
5 多打几张草稿以为一条思路走到底就够 → 知道多路采样投票和带剪枝的树搜索各自适合什么任务
6 让评分介入每一步以为搜索就是多采几次 → 知道逐步打分能把预算花在更有希望的分支上,用更少的总词元换更高的准确率
7 测试时扩展与长思维链以为变强只能靠训练时堆规模 → 知道回答前多花计算也能变强,以及这条路把成本分布从均匀拉成长尾
8 推理模型怎么训以为「会想」是自然涌现的 → 能用策略初始化、奖励设计、搜索、学习这四块把整条流水线讲一遍
9 从一款模型到群雄并起以为这是某一家的独门功夫 → 知道推理预算已经从隐式变成显式的产品参数
10 用什么尺子量「会想」以为看分数就够 → 知道三类题目各自难在哪,以及为什么看分数必须连带看跑分设置
11 工程现实以为长思考只是多花点时间 → 知道它把缓存压力和成本曲线一起推成超线性
12 推理模型与智能体以为推理模型会吞掉智能体 → 知道一个管深度、一个管长度,是两条正交的轴
主走查一道竞赛风格的整数题:直答给错答案 → 加一句「一步步想」后中间结果被写出来 → 采样二十条投票 → 用过程分逐步剪枝 → 长思考版本回溯了一次 → 算这四种做法各花多少词元

08-multimodal.md —— 多模态

对应原书第 8 章。

进来时以为 → 出去时知道
1 隔着一层语言描述的世界以为纯文本模型已经够用 → 知道很多信息本来就不适合被先转写成文字
2 同一个空间以为图和字是两种没法比较的东西 → 知道用大规模「配对/不配对」训练就能把它们放进同一个向量空间
3 都变成词元以为每种模态都要一套专用网络 → 知道只要能切成一串向量就能进同一个框架,并知道拼接式和原生统一的取舍
4 从看图说话到围绕图对话以为看图就是给图贴标签 → 能说清视觉编码器、投影层和语言模型各自干什么,以及两阶段训练在训哪一块
5 视觉模型的短板以为看得懂图就等于看清楚了 → 知道空间关系、计数、小字和专业影像是几类稳定的软肋
6 声音以为语音就是转成文字 → 知道级联做法丢掉了语气和打断,原生做法把声音也变成词元
7 音频理解以为音频模型只管听懂字 → 知道狗叫、玻璃碎裂、情绪和背景声都是要被听出来的信息
8 视频:多出来的那一维叫时间以为视频就是很多张图 → 知道难点在时间一致性,以及上下文预算怎么被帧数吃光
9 音画智能以为把音轨和画面拼起来就行 → 知道要判断声源在不在画面里、动作有没有产生这个声音,并知道机械臂抓玻璃杯时接触声为什么先于视觉报警
10 统一多模态与生成以为生成图像是另一套完全不同的技术 → 能把「先破坏成噪声再学着还原」这条思路讲清,并知道原生统一和离散词元两条路各自的代价
11 它今天在替谁干活以为多模态还停在演示阶段 → 知道无障碍、教育、医疗、办公这四处已经在替谁干活,以及医疗那条线为什么必须停在辅助层
12 评测与边界以为答案对了就算对 → 知道模型可能用错证据答对题,所以评测要检查它是不是真的依赖了该依赖的模态
主走查一张麻婆豆腐照片 + 一句「这是什么、怎么做」:先把照片和「麻婆豆腐」这句话各自编码成向量算一次相似度 → 切成视觉词元 → 过投影层 → 和文字词元排成同一条序列 → 生成回答 → 追问「能不能用豆腐代替鸡蛋」

09-compute-and-training-systems.md —— 钢与硅,以及训练系统

对应原书第 9 章 + 第 6 章前半。

进来时以为 → 出去时知道
1 一颗 H100 是什么以为显卡就是「算得快的芯片」 → 知道它同时是一块小而快的片上缓存加一块大而慢的显存,而这两级存储决定了后面所有的优化
2 芯片江湖的几大派别以为只有一家在做 → 知道通用旗舰、自研、国产、推断新势力、端侧各押什么赌注
3 从一块卡到一座工厂以为集群就是「很多卡」 → 能把节点、机柜、机房、数据中心这四级说清
4 两种「说话」以为卡之间通信都一样快 → 知道节点内和节点间差着二十倍,而这条差距直接决定并行怎么切
5 三种切法以为切模型只有一种办法 → 知道按数据切、按矩阵切、按层切各自的通信代价
6 不改数学,只改计算顺序以为提速必须换算法 → 知道把注意力的中间结果留在片上缓存里,速度和显存能一起改善
7 显存怎么省以为显存不够就只能换卡 → 知道混合精度、重算激活、状态分片、算子融合各自省在哪、代价是什么
8 故障是常态以为训练就是跑完 → 知道上万张卡平均几小时就中断一次,能不能优雅失败本身就是竞争力
9 训练平台以为训练系统只管把卡喂满 → 知道它还组织研究节奏:配方、实验分层、集群调度、数据通路
10 数据中心的物理学以为选址是个后勤问题 → 知道电、水、土地、政策这四个变量决定了集群能不能建起来
11 能源账本与核能回潮以为电费只是成本表上一行 → 知道大科技公司已经在锁二十年期的电力合约
12 出口管制与算力主权以为算力是纯技术问题 → 知道它已经和地缘政治绑在一起,以及应对的三条路线
13 算力效率工程以为差距只能靠更多卡补 → 知道同样的卡,不同的工程方法能榨出很不一样的有效算力
14 推断时代的新瓶颈以为算力故事的主角一直是训练 → 知道账本正在往推断那边挪,以及摩尔定律放缓后的几条突围路
主走查1750 亿参数、2 万亿词元、1024 张卡:6ND 算出 2.1e24 次浮点运算 → 按每卡每秒 3e14、利用率 50% 折成约 158 天(书里那个 7B 的例子同样配置只要一周,参数大 25 倍时间就大 25 倍) → 切法排成 8×16×8 → 显存账 → 训到第 40 天中断 → 从检查点恢复

10-inference-systems.md —— 推断系统

对应原书第 6 章后半。

进来时以为 → 出去时知道
1 两本账以为训练和推断都是「让显卡跑模型」 → 知道一个赌的是几周不出大故障,一个赌的是每秒都不能崩
2 预填充与解码以为一次生成是一件事 → 知道它分两段,而且两段的瓶颈完全不同
3 算术强度以为慢是因为算力不够 → 知道解码阶段显卡大半时间在等数据搬运,不在算
4 缓存吃掉了并发以为限制并发的是模型大小 → 知道真正吃掉显存的常常是那份随会话长度线性膨胀的缓存,以及分页和前缀复用怎么把它管起来
5 解码策略以为模型输出是定死的 → 知道温度和几种截断策略决定了它是死板还是放飞
6 结果缓存与语义缓存以为缓存越激进越好 → 知道命中之后是否仍然可靠,才是真问题
7 连续批处理与调度以为凑批就是等齐了一起算 → 知道要边生成边吸收新请求,以及由此带来的公平性与抢占问题
8 量化、蒸馏与投机解码以为提速只能换硬件 → 知道让模型本身更容易跑、让它少做无效工作也是两条路
9 推断性能怎么量以为「更快」是个可以直接说的判断 → 能用首字时延、逐字时延、吞吐和单位成本组成一把可比的尺子
10 生产级平台以为上线就是把服务开起来 → 知道波峰、故障、版本切换才是真正的考题
11 会话粘性与中断恢复以为每次请求都可以随便落到任意机器 → 知道长任务的状态该迁移、该重建还是该丢弃,是要分层设计的
12 超时、取消与重试语义以为超时就是「这次没返回」 → 知道对会动手的系统,超时不等于动作没生效
13 灰度发布与容量预案以为回滚开关有就行 → 知道回滚时没有预热容量,「理论上可回退」会变成更大的拥塞
14 降级路径以为服务只有「可用」和「不可用」 → 知道成熟系统会分层退化,而且退得清楚、退得可追踪
主走查一次「帮我总结这份 8000 词元的报告」:请求到达 → 预填充一次吃掉 8000 个词元 → 缓存占多少显存 → 逐字解码 → 和另外十九个请求一起被连续批处理 → 首字时延与逐字时延各是多少 → 高峰期降级到更轻的路径

11-agent-loop.md —— 从语言到行动

对应原书第 10 章。

进来时以为 → 出去时知道
1 为什么现在才成以为智能体是个新想法 → 知道「让机器代人做事」很老,新的是三个条件第一次同时具备
2 工作流与智能体的分水岭以为带工具调用的都叫智能体 → 知道分水岭是「下一步由谁挑」
3 闭环的四步以为智能体就是更会写思维链的模型 → 知道决定成败的是观察、行动、反馈这条链稳不稳
4 三种代表范式以为闭环只有一种写法 → 能说出交替、解耦、用代码承载动作这三种变体各自在省什么
5 把任务定义清楚以为任务描述随便写就行 → 知道很多「不稳定」的根子在任务、环境和状态没被设计清楚
6 部分可观测与确认成本以为看到的就是全部 → 知道要为「先确认一下」留预算,别把模糊信号过早压成确定结论
7 什么时候该停下来问人以为自主性越高越好 → 能用「这一步可不可逆」把动作分成两类,并知道停下来的硬条件怎么写
8 预算以为多试几次没什么代价 → 知道每一次重试都在花时间、花钱、并再暴露一次副作用风险
9 失败的样子以为失败就是答错 → 能分出观察错、计划错、行动错和伪成功这四类
10 驾驶舱以为智能体强弱全看模型 → 知道同一份权重装进不同外壳,可靠性能差出一个数量级
11 技能以为工具列得越多越好 → 知道稳定性更依赖「把一类任务做对的整套套路」有没有被沉淀下来
12 智能体推断负载的特殊性以为它和聊天服务是一回事 → 知道它更碎、更短、更依赖结构化输出,而且显卡常常在等外部返回
13 现实中的产品形态以为智能体还在实验室 → 能说出编程、浏览器、通用任务、企业这四类形态各自的人机分工
14 智能体式模型怎么训出来以为智能体只是提示词写得好 → 知道要从范例里学风格、从结果里学策略、专门学会用工具
主走查「把这个报错修好并提交」:读 issue → 在仓库里定位 → 改三行 → 跑测试 → 测试挂了 → 换一条路 → 再跑 → 提交前停下来等人确认

12-tools-and-environments.md —— 工具与环境

对应原书第 11 章。

进来时以为 → 出去时知道
1 接口决定能力上限以为模型不够聪明才出错 → 知道很多错是接口没把边界、失败信号和副作用交代清楚
2 函数调用以为让模型「调 API」很简单 → 知道它得清楚每个工具的输入格式、输出结构、边界和失败信号
3 三类原语与协议标准化以为每接一个工具都要重写一遍 → 知道可调用的动作、可读取的数据、可注入的模板被分成三类,以及「谁决定它何时被用」这条控制层级
4 工具检索以为把工具都塞进上下文就行 → 知道几十个工具就会吃光预算,得像检索文档一样检索工具
5 工具库与工具学习训练以为工具能力靠提示词 → 知道它要靠统一描述格式、版本管理、沙箱和配额撑起来,也能被训进模型
6 检索质量才是天花板以为检索增强生成主要看模型强不强 → 知道切块、混合召回、重排这几道工序决定了系统上限
7 边推理边检索以为检索是一次性的 → 知道它可以进入决策闭环:搜什么、何时停、证据够不够、来源冲突了怎么办
8 浏览器、终端与桌面以为动作都是结构化的 → 知道真实软件世界脏乱得多,状态不一定结构化、反馈不一定即时
9 界面接地以为看懂截图就能操作 → 知道要把画面当成一个会变的状态,而不是一张静态照片
10 沙箱与执行隔离以为加个安全检查就够 → 知道更稳妥的做法是先把它关进一个可销毁的环境里
11 接口组合与工具编排以为工具是一堆孤立按钮 → 知道它更像一张带前后依赖的网络,失败时要能退回上一层重选
12 凭证怎么发以为把钥匙交给模型最省事 → 知道密钥应由运行时代持,凭证只对当前任务、当前会话、当前动作类别生效
13 幂等、确认语义与副作用控制以为同一个动作做两次没关系 → 知道对会改世界的接口,「预览/执行/确认/提交」最好分开
14 观测接口与差分反馈以为返回一大段文本就算有反馈 → 知道它需要的是结构化探针和「这一步之后哪些变了」
15 生态治理以为接口多就是生态好 → 知道版本、权限、失败语义和配额不被治理,开放生态会滑成不可维护的集合
主走查「把这张餐费发票按公司报销制度归类并提交」:读发票(§9 界面接地) → 检索制度文档(§6) → 没搜到就换关键词再搜(§7) → 跑一段解析脚本要进沙箱(§10) → 打开报销页面填表(§8) → 弹层挡住确认按钮(§9) → 提交动作先拿一次短时凭证(§12) → 网络抖动重试要幂等(§13) → 提交后重新读页面确认单号(§14)

13-memory-planning-orchestration.md —— 记忆、计划与协作

对应原书第 12 章。

进来时以为 → 出去时知道
1 上下文窗口不是记忆以为把历史都塞回去就等于记住了 → 知道「看得到」不等于「记得住」,更不等于「用得对」
2 记忆的三层以为记忆就是一个大文本 → 能分出常驻的、跨任务保留的、外置可查的这三层
3 显式与隐式以为记忆只能写在外面 → 知道也可以被训进参数,以及这条分工线背后是「哪些信息允许长进它脑子里」
4 写入、遗忘与状态压缩以为记得越多越好 → 知道会忘和会记一样重要,而且写入本身就是在决定「以后什么值得再被相信」
5 任务分解与计划生成以为计划越详细越好 → 知道计划要分层,并且每个子目标都得对应一个可观察的结果
6 计划监控与偏差校正以为计划做完就执行 → 知道真正失控的时刻是计划已经悄悄失效、系统还按原节奏推进
7 交替式执行以为先想清楚再动手更稳 → 知道很多关键事实本来就在外部,该先动一点点再修正
8 失败恢复、回滚与停止条件以为失败就重试 → 知道错误可能已经污染了后续状态,得靠检查点和明确的停止条件收住
9 反思与经验沉淀以为反思就是多写点自我分析 → 知道它要落在下一步动作上,而且应该被触发而不是常开
10 生成器与评估器以为一个模型能既当作者又当审稿人 → 知道拆开之后,评判标准被迫写成白纸黑字的判据
11 自优化、反思与自进化三层以为「越用越强」是自然而然的 → 能分出改上下文、改外部笔记、改参数这三层各自的代价
12 谁来喊停、什么条件升级到人以为收口是自然发生的 → 知道要事先写死:冲突超阈值进复核、关键证据缺失禁止执行、两轮不收敛升级给人
13 什么时候才需要多个智能体以为任务一复杂就该上多智能体 → 知道多一个角色就多一份协调成本,不划算就该收缩回单主体
14 通信结构与共享事实底座以为角色之间聊天就能协作 → 知道要有结构化交接和一份所有人都认的事实底座,否则各自基于不同版本行动
15 协作的代价、韧性与任务切片以为并行就等于提效 → 知道瓶颈角色、返工成本和切片颗粒度会把收益一点点吃掉
16 人机介入的四种深度以为人只能在最后看一眼 → 能按风险给监督、审核、交互、协同这四种深度各找到合适的场景
17 从长任务里学以为训练数据就是问答对 → 知道轨迹才是智能体的基础数据形态,以及奖励一旦错位会引出什么
主走查「把这份 40 页的行业报告做成给董事会的十页材料」:抽出关键结论存进工作记忆 → 拆成五个里程碑 → 第三步发现数据对不上 → 回滚到第二个检查点 → 触发一次反思 → 让另一个角色评审 → 冲突升级给人 → 定稿

14-agent-training-eval.md —— 训练、评测与系统工程

对应原书第 13 章。

进来时以为 → 出去时知道
1 从演示到上线以为跑通一次演示就算做完了 → 知道中间隔着一整个可观察、可验证、可恢复、可运营的工程闭环
2 轨迹是共同语言以为记下最终结果就够 → 知道只有完整轨迹才能同时喂给训练、评测、排障和复盘
3 环境反馈与延迟归因以为监督信号只能来自人 → 知道环境本身会用结果告诉你成没成,以及延迟反馈该怎么归因回当时那一步
4 成功率之外以为看任务成功率就够 → 知道两个都做完的系统,轨迹质量可能差得很远
5 任务画像与覆盖率以为平均成功率能代表系统 → 知道低频高风险那一小撮切片才是事故的来源
6 评测污染与难例更新以为评测集做好就一劳永逸 → 知道环境自己也在漂,评测集要分三层滚动维护
7 评判器校准以为尺子本身没问题 → 知道「什么算成功」换个口径,分数能差出十几个百分点
8 日志、失败分类与修复队列以为出了事再查就行 → 知道没有可回放的轨迹,事故就只能变成玄学
9 数据闭环与版本演进以为线上数据全都值得回灌 → 知道不筛选就会把错误习惯一起训进去
10 状态对象与检查点以为把上下文留着就能恢复 → 知道要把当前目标、已生效副作用、锁定资源都对象化
11 部署成本要分层以为每个请求都该走最强模型 → 知道要按风险层级自动选成本档位
12 发布判据以为离线分数涨了就能上线 → 知道要用一份门槛清单同时守住「均值漂亮」和「长尾不爆」
13 仿真、影子运行与分级放量以为上线就是打开开关 → 知道它是一组逐步扩大行动半径的工程决策
14 从研发闭环到运营闭环以为智能体是个研发对象 → 知道它还要被值守、被限流、被升级、被回退、被解释
15 环境版本与可复现性以为「模型突然变差」是模型的问题 → 知道更常见的原因是它面对的外部世界悄悄换了形状
16 回归集、服务水平目标与变更门禁以为改进越快越好
主走查一张差旅报销单:轨迹记什么 → 环境反馈分几种、各延迟多久 → 三层评判器给出的成功率差多少 → 一次「审批人发错」的事故怎么被回放定位 → 修复后进训练集和难例集 → 过完门槛清单才灰度

15-embodied-robotics.md —— 走进物理世界

对应原书第 14 章。

进来时以为 → 出去时知道
1 从数字到物理以为智能只要够聪明就行 → 知道有一派认为它需要身体,因为物理常识不是读出来的
2 三岁小孩会的最难以为下棋比走路难 → 知道恰恰相反,理由是后者靠的是几十亿年打磨出来的感知与控制
3 经典机器人的三根支柱以为机器人一直靠 AI → 知道感知、规划、控制这套老办法在结构化环境里非常好用,换到开放环境就写不完规则
4 学习怎么改变机器人以为试错学习早就成熟了 → 知道样本效率是死穴,以及仿真、演示、预训练这三条突破口
5 视觉-语言-动作模型以为机器人和大模型是两条线 → 知道它把世界知识和操作技能分开积累、合起来使用
6 动作怎么变成可学的信号以为动作输出是理所当然的 → 知道把它当词元、当一段、当分布这三种表示各自的精度与速度代价
7 两个代表系列以为这只是论文里的原型 → 能说出「从视觉语言模型继承常识」和「大脑加小脑分层」这两条设计
8 开源与闭源两条路线以为大公司领先就是全部 → 知道开源决定多少人能上手,闭源展示能力上限可能被推到哪里
9 世界模型以为机器人只能真机试错 → 知道它可以先在内部预演一遍,以及这条路能把样本效率提到什么程度
10 为什么一定要做人形以为人形是为了好看 → 知道整个世界的尺寸是按成年人捏的,人形是「少改造环境」的一种下注
11 台前的公司在做什么以为人形机器人已经进了家庭 → 能把工厂试点、家庭早期探索、开发者平台这三类分开看
12 硬件、仿真与真机迁移以为仿真训好就能上真机 → 知道域随机化、残差策略、系统辨识这几招要组合着用
13 触觉以为有摄像头就够 → 知道很多精细操作靠的是手感,而触觉数据比图像稀缺得多
14 真机实验以为演示视频就是产品 → 知道数据采集成本、长尾意外和「换个房间还能不能行」才是真考题
15 挑战以为剩下的都是工程细节 → 知道安全、可靠性、成本、数据稀缺和伦理这五条各自卡在哪里
主走查「把桌上的红杯子放进水槽」:摄像头一帧进视觉编码器 → 和指令一起进模型 → 输出未来 50 步动作 → 夹爪接触瞬间触觉报警打滑 → 重抓 → 走到水槽前世界模型先预演一次 → 放下

16-ai-for-science.md —— AI 遇上科学

对应原书第 15 章。

进来时以为 → 出去时知道
1 科学研究的第四范式以为 AI 只是科研里的一个工具 → 知道它对应的是继经验、理论、计算之后的第四种做法
2 蛋白质折叠:五十年的圣杯以为这是个纯生物学问题 → 知道它是「序列如何决定形状」,而实验测一个结构要几个月到几年
3 AlphaFold 怎么做的以为它是某个新算法 → 知道是多序列比对、成对距离、端到端训练和注意力四件事组合起来的质变
4 从蛋白质往下再走两层以为生命科学的 AI 就是折蛋白质 → 知道基因、细胞和大脑这三层各自被改变了什么
5 药物发现与蛋白质设计以为 AI 能直接设计出新药 → 知道它擅长的是先把最不可能的几百万个候选排除掉
6 材料与化学以为发现新材料靠运气 → 知道它是「在巨大可能空间里先筛一遍」的典型场景
7 气象与气候以为天气预报早就成熟了 → 知道被改写的是预报的速度和成本,而不是大气本身的可预报上限
8 在噪声里捞信号以为天文和粒子物理离 AI 很远 → 知道它们的共同形状是「数据多到人看不完,得先筛出那几个值得回头细看的瞬间」
9 数学与形式化证明以为数学是 AI 最远的领域 → 知道神经网络提候选、符号或程序严格验证这条主线,并能举出三个实例
10 从 AI 工具到 AI 研究助理以为 AI 只是帮忙写代码 → 知道它正在被串成能读文献、列假设、写代码、跑实验、改计划的系统
11 从假设驱动到数据驱动以为科学方法是固定的 → 知道「AI 发现 + 人类解释 + 实验验证」正在成为一种新的分工
12 挑战以为准确率高就能用 → 知道因果、可解释、外推、守恒、复现和双重用途这六道关卡各卡在哪
主走查一条 200 个氨基酸的序列:先找它在其他物种里的「亲戚」 → 预测任意两个氨基酸之间的距离分布 → 端到端折成三维坐标并给出逐位置置信度 → 低置信区间要不要信 → 接一个小分子看它们怎么结合 → 交回实验室做验证

17-risk-and-governance.md —— 风险与治理

对应原书第 16 章。

进来时以为 → 出去时知道
1 风险分两类:说错话和做错事以为风险就是「模型会胡说」 → 知道一类是输出分布问题,一类是状态转移问题,约束的粒度完全不同
2 幻觉在行动链中的放大以为幻觉最多误导一下用户 → 知道一旦进入行动链,纠错成本会急剧上升,而且可能产生法律后果
3 越狱以为拒答策略训好就锁定了 → 知道对齐学到的是「不该说的内容」,而不是「不该被绕过的边界」
4 提示注入以为攻击者必须直接和系统对话 → 知道恶意指令可以藏在网页、邮件和工具返回里等着被读到
5 数据投毒与后门以为模型交到手里就干净了 → 知道训练阶段就能被埋进只在特定触发器下发作的缺陷
6 偏见与公平的不可能定理以为算法比人客观 → 知道数据不中立它就不中立,而且不同的公平定义在数学上会互相冲突
7 隐私以为隐私问题只在使用阶段 → 知道训练数据和使用过程是两层,而且都已经有过很戏剧化的现实演示
8 对抗样本与分布偏移以为测试集上准就代表可用 → 知道人眼看不出的扰动能让判断翻转,而且世界本身在变
9 失控的智能体与对齐难题以为「让它做我们想要的」是件容易说清的事 → 知道说出口的目标、系统优化的目标和真实意图常常不是同一个圆
10 为什么权限这一层在对齐没解决前最划算以为治理要等对齐研究出结果 → 知道几个看起来都合理的小设计串成一条意外通路,才是事故的常见形状
11 可解释性以为解释黑箱是治理的终点 → 知道它今天只能提供部分证据,替不下权限分层、沙箱和人工检查点
12 水印与深度伪造以为技术能解决伪造问题 → 知道这是一场防守方天然慢一步的攻防,而且缺的常常是一道线下确认的流程
13 治理工程以为治理是写一份原则清单 → 知道它是审计、红队节奏、监控、误伤恢复这些「无聊表格」
14 过度信任与高风险场景边界以为风险都来自模型 → 知道另一半来自人因为它看起来太像可靠同事而降低了警惕
15 从法案到峰会以为监管离工程师很远 → 知道按风险分级的合规框架已经开始适用,而国际共识本身相当脆弱
16 更远的议题以为就业冲击是唯一的社会议题 → 知道罢工、权力集中和生存风险这三条各自吵的是什么
主走查一封带隐藏指令的邮件:助手被要求「总结这封邮件」 → 正文里夹带「忽略之前的指令」 → 系统把外部文本当成高优先级指令 → 调用了不该调的工具 → 权限分层在哪一步能拦下 → 沙箱在哪一步能兜住 → 审计日志留下了什么

18-future-systems.md —— 未来智能系统

对应原书第 17 章。

进来时以为 → 出去时知道
1 一个词的七十年漂流以为通用人工智能是最近才有的说法 → 知道它是 AI 的原始目标,中间被搁置了二十多年
2 四种含义,四套时间表以为大家在讨论同一件事 → 知道至少有四层递进的定义,听到时间表要先问「他说的是哪一层」
3 会考试不等于会生活以为分数上去了就是能力上去了 → 知道一个测试一旦被设计出来,很快就会变成被优化的目标
4 还没跨过去的六道坎以为差距只是「再大一点」 → 能说出事实性、长期规划、因果、持续学习、物理常识,以及「没有一个持续存在的它」
5 五阶段路标以为通往通用智能只有一条路 → 知道有一张被广泛引用的五级阶梯,以及它的价值和它的误导
6 几条路线以为大家赌的是同一件事 → 能说出规模、长思考、自我进化、具身与世界模型各自的论据和软肋
7 时间表与分歧以为专家意见大致一致 → 知道同一批顶尖研究者给出的估计相差十倍以上,并知道分歧的四个来源
8 能力维度的继续演化以为「更强」只来自参数 → 知道时间尺度、世界模型、环境副本和多模态延展这四条轴
9 平台分层与协议化以为竞争只发生在模型层 → 知道运行时、协议和接入规则正在独立出来成为另一层竞争
10 智能体形态的分化以为未来会有一个万能助手 → 知道它会沿「个人 / 组织」和「本地 / 云端」两条轴分化
11 身份、记忆与可验证信任以为能力强就会被信任 → 知道还要权限可撤销、记忆属我、身份可核对这三层
12 人机协作与监督预算以为系统越强越需要人盯着 → 知道人类注意力本身是稀缺资源,得先决定花在哪里
13 算力、能源与可持续约束以为未来只由能力上限决定 → 知道最成熟的系统往往是单位能力产出最划算的那个
14 AGI 后的世界以为讨论的是天堂或地狱 → 能说出两种极端情景各自的前提,以及智能爆炸这个论证的递归骨架
15 人在这个时代的位置以为问题是「人还剩什么用」 → 知道价值会从「亲手做完每一步」转向「设计目标与监督闭环」
主走查「帮我把这个课题从文献读到论文初稿」:今天走一遍,在第 4 步、第 9 步、第 12 步各卡在哪一道坎上;再假设六道坎被跨过之后,同一条路会长成什么样

审读意见对照(改了什么)

第一批(动笔前必须改掉的结构病)

  1. 第 09 章走查那句「1024 卡约 5 周」是算错的。2.1e24 ÷ (1024 × 3e14 × 50%) = 1.37e7 秒 ≈ 158 天。 已改成「约 158 天、五个月出头」,并当场给参照物:书里那个 7B 的例子同样配置只要一周, 参数大 25 倍时间就大 25 倍。第 ⑥ 步的中断时刻从「第 9 天」改成「第 40 天」。
  2. KV 缓存的「为什么存在」从第 10 章下沉到第 04 章 §8 开头;第 10 章 §4 只留「它怎么限制并发」, 标题从「KV 缓存」改成「缓存吃掉了并发」。FlashAttention 整节从第 04 章挪到第 09 章 §6 (它靠显存与片上缓存这两级存储说话,而这两级要到第 09 章 §1 才出现)。
  3. 四组重复各留一半:
    • 03 §7 只落在结构上(积木一样,差在能不能向后看);「谁成了主流」整句让给 05 §4。
    • 01 §9 保留就业并补上两个百分比;17 §16 换成罢工 148 天、权力集中与生存风险。
    • 06 §8 只讲训练侧(过程裁判的失败尝试);07 §6 只讲推断侧(用更少总词元换更高准确率)。
    • 11 §7 只讲「什么时候该停下来问人」;12 §12 只讲「凭证怎么发」(标题里的「最小授权」删掉); 17 §10 只讲「为什么这层最划算」,落在依赖图上,不再重列操作清单。
  4. 三处一词多名各定一个名字:上下文窗口(04 §3 就地讲透)、检索增强生成(RAG)(04 §9 首现挂名)、 停止条件(13 §8);13 §12 改讲「谁来喊停、什么条件升级到人」,不再引新词。

第二批(覆盖缺口)

  1. 第 16 章补「从蛋白质往下再走两层:基因、细胞与大脑」(§4)和「在噪声里捞信号」(§8); AlphaTensor 并进 §9。
  2. 第 08 章补「它今天在替谁干活」(§11);机器人那半页并进 §9 音画智能。
  3. 第 18 章 §4 从五道坎补成六道,加「没有一个持续存在的它」。
  4. 第 17 章 §1 标题的「五层」改成「两类:说错话和做错事」(原书 16.1 就是两分法)。

第三批(动笔前的准备)

  1. 三处主走查改到能串起本章的承重机制:12 章换成「按公司制度归类并提交这张发票」, 02 章给卷积和循环各补一步,08 章开头补一步跨模态相似度。
  2. 至少七处书架锚已在正文里钉死(MCP 三原语、Agent Skills、智能体间协议、 RAG 工业链路、评测集与门禁、多智能体通信结构、记忆分层),写法与 事实= 见各章脚注。
  3. 补上 index.md 的六节安排与末尾兑现表。