nndl-general 节级大纲(审读意见改后定稿)

这份是草稿层的东西,不进主线。 一节一行,写成「进来时以为…… → 出去时知道……」。 两头是同一件事的,那一节就该合并掉。

原书 16 章 → 拆解 27 章。切分依据是新词密度:原书第 3 章(前馈/卷积/循环)、 第 5 章(注意力/积木/长文成本)、第 8 章(分词/造模型/后训练/涌现)、 第 15 章(攻击面/问责面)各自塞了三到四章的量,一章讲不完。

一、审读意见落实清单(改了哪些、改在哪)

第一档 —— 四条硬伤,不改门禁过不去:

处	原来写的	改成	依据
ch10 走查	「768 与 96 取自公开的 GPT-3 配置口径」	全部换到 nanoGPT 的 GPT-2 口径:12 层 × 768 宽,「反复堆 96 次」改成「反复堆 12 次」	nanogpt@src:model.py:112(n_layer: int = 12)、:114(n_embd: int = 768)
ch13 走查	「书里那个悬崖行走……4×12 的格子路……-13 分 / -17 分」	只用书里给出的 每步 −1、掉崖 −100 并回起点,格子按书里的图重画成 1 行 7 列,两条路的总分我们自己算并当场声明「这几个数是按书里的奖励规则算出来的」	text/08-ch07.txt 的「悬崖行走」一节
ch08 走查	「第三遍加上层规范化和残差连接:152 层稳稳训完」	152 层归位给 ResNet + 批量规范化;层规范化改由 nanoGPT 的一次真实配置承担,落在走查第 2 步	text/05-ch04.txt 的「BN 是幕后功臣之一」一句
ch18 书架锚	「64 张 H800,每步 512 道题、每道采样 8 个」	整条删掉。ch18 的走查改用原书 9.1 那台卧室里塞了两块游戏显卡的台式机,一路走到万卡集群;verl 的真实配置移到 ch16,照抄 run_qwen2_5_32b_fsdp.sh 的 2 节点 × 8 卡 = 16 张、每步 1024 道题、每道采样 5 个	verl@src:examples/grpo_trainer/run_qwen2_5_32b_fsdp.sh:15、:18、:31

第二档 —— 结构病四处:

1. 幻觉只讲一次。 根因 + 三种来源 + 三种缓解全部并进 ch17 §8(幻觉首次出现的地方); ch26 §1 改写成「幻觉在问责场景里变成什么」,只讲医疗/法律/新闻里它为什么不能靠加一句提示词兜住。
2. 三种切法只讲一次。 ch15 §7 缩成一句效果句(「千卡量级、连续跑几十天,怎么组织、坏了怎么办第 18 章讲」), 「模型并行 / 流水线并行」两个新词一并移交 ch18 §7;54 天 466 次中断只留在 ch18 §8。
3. 指数衰减只推导一次。 完整推导留在 ch20 §1/§2;ch17 §11 只留一句「这条曲线第 20 章会用具体数字算一遍」; ch24 §16 改写成「物理世界没有撤销键」——同样是 100 步,软件能回滚、摔碎的盘子不能,所以只剩两条路。
4. ch11 补一级台阶。 在「省显存」和「省计算」之间插一节 §4「长文其实有两张账单」; 标题从「三种省法」改成「几种省法」,并按两张账单重新分组。

第三档 —— 补窟窿八处:

缺口	补在哪
① 排序与推荐(原书 2.9、3.7)	ch03 §12「排序与推荐:你每天在用的那一类」
② 如何高效地使用大模型(原书 8.8)	ch17 §12「怎么把话问对」
③ 聚类整条线(原书 2.6、6.2、6.6)	ch12 §3「不出题也能学:把相似的归成一堆」
④ 奖励设计(原书 7.10)	ch13 §14「奖励怎么设计」
⑤ 奖励足够假说(原书 7.11)	ch13 §15「奖励够不够」
⑥ 智能体产品:浏览器与电脑操作(原书 10.6.2)	ch19 §11「让它替你点鼠标」(ch24 那段坐标复原的料搬到这里)
⑦ 两个分水岭(原书 1.2.3.4)	ch01 §7「第二个分水岭:2022 年 11 月 30 日」
⑧ 算力主权(原书 9.8)	ch18 §12「算力主权」
⑨ 基因、细胞与大脑(原书 13.4)	ch23 §6「从基因到大脑」

第四档 —— 一词一义:

原书 1.3.2 立过一条规矩:英文 inference 很多地方译作「推理」,本书统一译作推断, 把它和 reasoning(推理)分开。全书照办:凡指「模型训好之后拿来用」一律写推断, 凡指「解题、论证、做逻辑判断」一律写推理。推断首现在 ch03 §2,句末挂一句 「你在别处会看到它被译成『推理』,那是另一件事」。

二、走查一览(一章一条主走查,与顶层全景同一个输入)

章	主走查的输入	走到哪
01	「请你定义猫」	规则写不完 → 给例子让它自己学
02	琥珀色 = (1.00, 0.75, 0.00)	局部表示 vs 分布式表示,再到层次抽象
03	一套 90 平米、地段 8 分、房龄 12 年的房子	特征 → 加权和 → 损失 → 挪一步 → 评估
04	同一批 1000 封邮件,四种老办法各判一遍	五种模型的边界长什么样
05	异或:两个开关	一条直线分不开 → 两层就分得开
06	5×5 的图配 3×3 的模板	卷出 3,滑一遍得到特征图
07	「我生在上海……所以我的母语是」	隐状态一路衰减 → 门控留住
08	同一个 30 层网络训三遍	0.8³⁰≈0.001 → 1.2³⁰≈237 → 稳住
09	「那只猫没过马路,因为它太累了」	「它」这一步的分数怎么算出来
10	6 个片段进一层 nanoGPT	位置签名 → 规范化 → 注意力 → 加回 → 前馈 → 加回
11	同一段对话从 2K 涨到 100K	两张账单各涨多少
12	一万张没人标过的猫狗照片	压缩 → 聚成堆 → 降到二维 → 遮住再补
13	悬崖行走的一行格子	每步 −1、掉崖 −100,两条路各算一遍
14	「上海天气__」	一个空 → 语法 + 常识 + 指代全被逼出来
15	一个 nanoGPT 规模的模型放大一万倍	数据、参数、算力、账单同步长
16	「我爱机器学习」这七个字	切成词元 → 编号 → 向量 → 概率 → 挑一个
17	「小明有 5 个苹果……」	直接答错 → 一步步想对 → 长思考更对
18	卧室里那台塞了两块游戏显卡的台式机	两块卡 → 一台八卡节点 → 一个机柜 → 万卡集群
19	「帮我订一张明天从上海飞北京的机票」	想 → 做 → 看 → 再想,一圈一圈
20	同一个 20 步任务,每步 95%	0.95²⁰≈36% → 要 90% 得每步 99.5%
21	一张 512×512 的猫图	加噪 1000 步 → 学预测噪声 → 反着走回来
22	一张菜单照片 + 一句「有素菜吗」	切块 → 视觉词元 → 投影 → 和文字排一队
23	一条氨基酸序列	多序列比对 → 成对距离 → 3D 坐标 → GDT 约 92
24	「把桌上的红苹果给我」	看 → 出 50 步动作 → 夹爪合拢 → 滑了 → 重新调整
25	一张熊猫照片	57.7% 熊猫 → 加一层看不见的噪声 → 99.3% 长臂猿
26	六个不存在的判例	说得像真的 → 被法院核 → 罚款 5000 美元
27	「9.11 和 9.9 谁大」	会写论文却数不清小数 —— 锯齿状

三、书外说法 → 书架锚对照表(动笔前先钉死)

说法	落在哪	锚
自动微分的全部家当只有 94 + 60 行	05 §9	ai-frontier-reference/micrograd@src:micrograd/engine.py:94、micrograd/nn.py:60
一层 Transformer 就是「加回去」两次	10 §3	ai-frontier-reference/nanogpt@src:model.py:104、:105
前馈层宽 4 倍	10 §7	ai-frontier-reference/nanogpt@src:model.py:82
12 层 × 768 宽是真配置	10 §2	ai-frontier-reference/nanogpt@src:model.py:112、:114
现成实现直接调框架的融合注意力	10 §9	ai-frontier-reference/nanogpt@src:model.py:64
手写版注意力那三行	09 §5	ai-frontier-reference/nanogpt@src:model.py:67
长上下文省显存:2K 省 10 倍、4K 省 20 倍	11 §8	ai-frontier-reference/flash-attention@src:README.md:515
少数几组键值被多组查询共用	11 §5	ai-frontier-reference/transformers@src:src/transformers/models/llama/modeling_llama.py:225
均方根规范化砍掉减均值那一步	08 §4	ai-frontier-reference/transformers@src:src/transformers/models/llama/modeling_llama.py:66
旋转位置编码就是把查询和键转个角度	10 §5	ai-frontier-reference/transformers@src:src/transformers/models/llama/modeling_llama.py:158
门控前馈层是三个投影不是两个	10 §7	ai-frontier-reference/transformers@src:src/transformers/models/llama/modeling_llama.py:175
梯度裁剪用取最小值而不是 if 判断	08 §12	ai-frontier-reference/pytorch@src:torch/nn/utils/clip_grad.py:168
混合精度与裁剪在真实配置里长什么样	08 §12	ai-frontier-reference/nanogpt@src:train.py:63、:73
预热 2000 步 + 余弦退火到十分之一	08 §7	ai-frontier-reference/nanogpt@src:train.py:66、:68
每轮挑最高频那一对合并	16 §4	ai-frontier-reference/minbpe@src:minbpe/basic.py:35
从零训一个能聊天的模型只要六个脚本	15 §11	ai-frontier-reference/nanochat@src:scripts/base_train.py:1 等
强化学习后训练的真实配置	16 §10	ai-frontier-reference/verl@src:examples/grpo_trainer/run_qwen2_5_32b_fsdp.sh:15、:18、:31
低秩旁路的 B 初始化为全 0	16 §7	ai-frontier-reference/peft@src:src/peft/tuners/lora/layer.py:343
只在回答上算损失靠 −100 标位	16 §4	ai-frontier-reference/trl@src:trl/trainer/sft_trainer.py:112
偏好对齐的对比损失在工程里长什么样	16 §8	ai-frontier-reference/trl@src:trl/trainer/dpo_trainer.py:1465
一份共同规矩把工具接进模型	19 §6	ai-protocol-reference/mcp-spec 的规范正文
智能体的停止条件与兜底	20 §5	ai-frontier-reference/smolagents 的拆解章

四、二十七章的节级大纲

01 智能的三次浪潮:为什么规则写不完

1. 请你定义猫 —— 进来时以为「让机器认猫,把规则写清楚就行」→ 出去时知道「补丁永无止境,三岁小孩会但没人写得下来」
2. 第一次浪潮:把知识写成规则 —— 以为早期 AI 一事无成 → 知道它证过定理、当过医生,只是撞上了开放世界
3. 寒冬为什么来 —— 以为是钱不够 → 知道是「规则写不完」这堵墙,钱只是跟着走
4. 第二次浪潮:给例子,让它自己找规律 —— 以为「自己学」是新词 → 知道它 1980 年代就成主流,只是特征还得人来设计
5. 特征工程那道天花板 —— 以为「机器学会了认猫」→ 知道它学会的是用特征,没学会找特征
6. 第一个分水岭:2012 年那 10.9 个百分点 —— 以为是算法一夜之间变聪明 → 知道是数据、算力、软件三条线同时到位
7. 第二个分水岭:2022 年 11 月 30 日 —— 以为 ChatGPT 只是「聊天做得好」→ 知道它把 AI 从技术圈的话题变成每个人的日常判断题
8. 三次浪潮的共同规律 —— 以为聪明办法会赢 → 知道笨而能扩展的办法一再胜出
9. AI 今天能做什么、不能做什么 —— 以为能力是一条线 → 知道它是一片高低不平的地形

02 三个圈与一条主线:什么是好的表示

1. 三个词不是同义词 —— 以为人工智能 / 机器学习 / 深度学习随便换着说 → 知道它们是层层包含的三个圈
2. 训练和推断是两种工作状态 —— 以为「用 AI」是一件事 → 知道办学校和开餐馆是两笔完全不同的账
3. 一个神经元长什么样 —— 以为神经网络神秘 → 知道它的基本件是「加权求和 + 一个非线性开关」
4. 琥珀色的两种记法 —— 以为编号就够了 → 知道编号记不住「像谁」,连续数值记得住
5. 词向量里的平行四边形 —— 以为语义没法算 → 知道相近的意思在空间里真的靠得近
6. 深为什么比宽划算 —— 以为层数只是参数更多 → 知道它带来的是逐级抽象
7. 非线性是「深」的前提 —— 以为堆层就有用 → 知道去掉激活函数,一百层等于一层
8. 端到端省掉了什么 —— 以为只是少写几行胶水代码 → 知道它换掉了「每段各自最优、合起来不最优」这个结构病
9. 表示学习是这一切的落点 —— 以为深度学习赢在层数 → 知道它赢在「特征自己长出来」

03 机器学习的骨架:模型、损失、优化,和怎么算学会了

1. 一套房子值多少钱 —— 以为估价靠经验 → 知道它能被写成「特征 → 数」的一个函数
2. 三要素 —— 以为每个算法各有一套 → 知道全都是「定模型、定损失、找参数」三步,推断这个词也在这里挂牌
3. 损失函数定义了什么叫好 —— 以为它只是打分 → 知道你写歪了它,模型会非常努力地朝错误方向进步
4. 梯度下降:蒙着眼下山 —— 以为要解方程 → 知道只需要每一步看脚下的坡
5. 学习率:一步迈多大 —— 以为是个小旋钮 → 知道调不对时其余搜索全在噪声里打转
6. 过拟合:背题不等于会做题 —— 以为训练误差越小越好 → 知道它一路降、验证误差回头就是坏消息
7. 准确率会骗人:精确率、召回率、F1 与阈值 —— 以为 99% 很高 → 知道一个什么都不做的模型也能拿 99%
8. 概率可信吗:校准 —— 以为模型说 90% 就是 90% → 知道嘴硬和自信是两回事
9. 交叉验证 —— 以为切一次就够 → 知道数据少时切法本身会左右结论
10. 数据泄漏:考卷背面印着答案 —— 以为高分是好事 → 知道它最会伪装,线上立刻塌房
11. 回归任务的几个指标 —— 以为只有均方误差 → 知道有异常值时它会被一个离群点带偏
12. 排序与推荐:你每天在用的那一类 —— 以为推荐是分类 → 知道它输出的是一份排好序的名单,损失函数都不一样

04 深度学习之外:那一柜子还在用的工具

1. 为什么还要讲老办法 —— 以为深度学习通吃 → 知道表格数据上梯度提升树至今是默认起点
2. 支持向量机:把间隔拉到最大 —— 以为分类就是画条线 → 知道画哪条线有讲究
3. 核技巧:升一维就分得开 —— 以为线性不可分就没救 → 知道换个空间它就分得开
4. 决策树:一串是非题 —— 以为可解释性要靠工具 → 知道有的模型天生就能把理由念出来
5. 随机森林与梯度提升 —— 以为集成只是投票 → 知道串行纠错和并行投票是两种思路
6. K 近邻与朴素贝叶斯 —— 以为简单方法没用 → 知道垃圾邮件过滤器靠它撑了十几年
7. 三大范式:标签从哪来 —— 以为区别在算法 → 知道区别在「反馈信号从哪来」
8. 没有免费午餐 —— 以为总有一个最强模型 → 知道换个任务它就可能垫底
9. 偏差-方差:两头都不能太狠 —— 以为越复杂越好 → 知道测试误差先降后升
10. 归纳偏置:结构本身就是一种先验 —— 以为网络是白纸 → 知道每种结构都偏爱某一类规律
11. 一个真实项目从头到尾 —— 以为主要工作是训模型 → 知道六成到八成时间花在数据上

05 从一个神经元到一层网络:前馈网络

1. 一个神经元能做什么 —— 以为它很聪明 → 知道它只是带非线性的线性分类器
2. 异或:一条直线的极限 —— 以为加数据就能学会 → 知道再多数据也画不出那条线
3. 两层就够了 —— 以为要更复杂的公式 → 知道先学两条边界、再组合就行
4. 排成一层:矩阵写法 —— 以为矩阵是数学包装 → 知道它是能被显卡一口气算完的形状
5. 激活函数的世代更迭 —— 以为都差不多 → 知道从 S 形换成「负的归零」是能不能训深的分水岭
6. 隐藏层为什么叫隐藏 —— 以为里面藏着秘密 → 知道只是它不和外界打交道
7. 通用近似定理和它的三行小字 —— 以为神经网络万能 → 知道「存在」不等于「找得到」
8. 手写数字:一个能跑通的最小例子 —— 以为入门要很久 → 知道 784 → 256 → 256 → 10 就能到 98%
9. 自动微分:为什么调得动几千亿个数 —— 以为梯度靠手推 → 知道 154 行代码就把这件事做完了
10. 前馈网络今天还在哪 —— 以为它过时了 → 知道它是别的网络的最后一层和内部构件

06 卷积网络:让机器看懂图像

1. 全连接处理图像有多亏 —— 以为只是慢一点 → 知道第一层就要 1.5 亿个参数
2. 猫挪到左上角就不认识了 —— 以为多训几张就好 → 知道全连接网络根本没有位置这个概念
3. 局部连接:只看一小块 —— 以为看得少会漏 → 知道一条边缘本来就只需要看邻近几个点
4. 权重共享:同一个模板滑一遍 —— 以为共享是为了省参数 → 知道它先带来的是「换个位置也认得」
5. 卷积到底在算什么 —— 以为卷积是玄学 → 知道 5×5 配 3×3,红框里那九个数一乘一加就是 3
6. 感受野:越往上看得越宽 —— 以为深层也只看 3×3 → 知道它间接看到了整张图
7. 汇聚:主动把分辨率降下来 —— 以为降分辨率是损失 → 知道它换来的是「挪一点也不影响」
8. 一条典型流水线 —— 以为架构千变万化 → 知道基本骨架就是「卷积 + 激活 + 汇聚」反复堆
9. 从 LeNet 到 ResNet:六个里程碑 —— 以为进步靠一次天才设计 → 知道是无数小改进的累积
10. 残差连接:给梯度一条近路 —— 以为只是加了个加号 → 知道它把 152 层从不可能变成日常
11. 猫的视觉皮层与第一层卷积核 —— 以为相似是巧合 → 知道两者都在解同一个问题
12. 视觉里今天用什么 —— 以为卷积被淘汰了 → 知道小数据上它仍然更稳

07 循环网络:让机器处理序列

1. 序列数据特殊在哪 —— 以为只是数据长一点 → 知道长度不固定、依赖跨得远
2. 隐状态:给网络一份短期记忆 —— 以为记忆要外挂 → 知道一个不断被改写的向量就够
3. 时间上共享权重 —— 以为长句子要更多参数 → 知道参数量和长度无关
4. 我生在上海……所以我的母语是 —— 以为它记得住 → 知道信息一路乘下去就没了
5. 长短期记忆:三道门 —— 以为门控很玄 → 知道就是三个「开多大」的小网络
6. 双向:有时候得看后文 —— 以为从左往右读就够 → 知道判断「苹果」是公司还是水果要看后面
7. 序列到序列:把一句话变成另一句话 —— 以为翻译要对词典 → 知道它是「读完压成一个向量,再展开」
8. 那个固定向量装不下长句 —— 以为压缩没损失 → 知道句子一长就明显掉质量,而这正是下一章的起点
9. 三种结构的分工 —— 以为选网络凭手感 → 知道选的是「你相信数据里有什么结构」
10. 怎么选一个网络 —— 以为越新越好 → 知道数据量、算力、业务约束才是决定项
11. 循环这条线没有死 —— 以为它被彻底取代 → 知道状态空间模型是它的现代版

08 把网络训得起来:稳定、优化与正则化

1. 反向传播之后为什么还等了二十多年 —— 以为差的是算力 → 知道差的是让梯度传得动的一整套办法
2. 参数初始化与输入尺度 —— 以为随机就行 → 知道全零会让同一层神经元永远一模一样
3. 批量规范化:沿着一列求统计 —— 以为规范化是玄学 → 知道它把「每一层都在追一个移动目标」这件事按住了
4. 层规范化:沿着一行求统计 —— 以为两者差别只是维度 → 知道差别在「要不要跨样本」,而这决定了能不能用在变长序列上
5. 残差流:一条永远在线的主干道 —— 以为残差只是训练技巧 → 知道它后来成了理解模型内部的坐标系
6. 优化器:从 SGD 到 AdamW —— 以为优化器越新越好 → 知道视觉上带动量的 SGD 至今泛化更好
7. 学习率调度:预热与余弦退火 —— 以为学习率是一个常数 → 知道真实配置里它每一步都在变
8. 正则化的统一视角:把尖谷磨成宽谷 —— 以为各招各的 → 知道它们都在往解的形状上使劲
9. 权重衰减与暂退法 —— 以为暂退法是随机破坏 → 知道它逼网络不许抱团
10. 数据增强、提前停止、标签平滑 —— 以为正则化只在模型端 → 知道数据端那一招最治本
11. 训练不正常时的排查顺序 —— 以为要凭直觉 → 知道有一份固定清单,先查数据再怀疑架构
12. 工程现实:梯度裁剪与混合精度 —— 以为它们是细节 → 知道没有它们很多模型根本装不进显存

09 注意力:让任意两个位置直接对话

1. 那只猫没过马路,因为它太累了 —— 以为指代靠语法 → 知道要跨越大半句话把信息连起来
2. 从字典查询说起 —— 以为注意力是新发明 → 知道它就是一次「柔性的查字典」
3. 三个角色:查询、键、值 —— 以为它们是同一个东西 → 知道同一份输入被三个矩阵变出三种身份
4. 打分、归一、加权求和 —— 以为公式吓人 → 知道三步走完就是全部
5. 为什么要除以维度的平方根 —— 以为是凑数 → 知道维度一大点积就爆,softmax 会失去分辨力
6. 柔性带来的好处:可微 —— 以为「选一个最相关的」更直接 → 知道那样就没法用梯度训了
7. 自注意力:查询、键、值都来自同一句 —— 以为它和翻译里的注意力是两件事 → 知道只是来源换了
8. 两个痛点一次解决 —— 以为并行只是快一点 → 知道它决定了大模型能不能被训出来
9. 多头:同一句话同时看几遍 —— 以为多头是堆算力 → 知道每个头在关注不同的关系
10. 因果掩码:不许偷看后文 —— 以为生成时得一个一个算 → 知道训练时可以并行,靠的是把后面的分数置成负无穷
11. 交叉注意力:让一段去查另一段 —— 以为它是另一种机制 → 知道只是查询和键值来自两个地方

10 Transformer 积木:一层里的六步

1. 一层里到底发生了什么 —— 以为 Transformer 复杂 → 知道一层只有六步,而且反复堆
2. 走查:6 个片段进入一层 —— 以为要跟着公式走 → 知道形状进来是 6×768、出去还是 6×768
3. 残差把「加回去」做了两次 —— 以为它只在卷积网络里 → 知道 Transformer 的一层就是两句「x = x + 」
4. 打乱词序结果不变 —— 以为注意力知道顺序 → 知道它压根没有顺序这个概念
5. 位置编码:给每个位置一个签名 —— 以为要改架构 → 知道加一个向量就够
6. 从正弦到旋转:一个边角设计改了四代 —— 以为位置编码定型了 → 知道它是被改得最多的一块
7. 前馈层:宽 4 倍的那一块 —— 以为参数都在注意力里 → 知道大部分参数在这里
8. 规范化放在前面还是后面 —— 以为无所谓 → 知道放后面的那一版训不深
9. 三种范式:同一块积木的三种搭法 —— 以为编码器和解码器是两种模型 → 知道积木完全一样,差别在掩码和接线
10. 为什么仅解码器赢了 —— 以为它更强 → 知道它更通用:会接龙就会做几乎所有任务
11. 混合专家:大而不必全算 —— 以为参数多必然算得多 → 知道路由器让每个词元只走少数几个专家

11 长文的两张账单

1. 为什么对话一长就变慢变贵 —— 以为是服务器忙 → 知道账单本身随长度在涨
2. 键值缓存:别把旧内容重算一遍 —— 以为每次生成都要重跑全文 → 知道旧的键和值不会变
3. 缓存吃掉的是显存 —— 以为缓存是纯赚 → 知道它随对话长度线性膨胀
4. 长文其实有两张账单 —— 以为省显存和省计算是一件事 → 知道一张随长度平方涨、一张随长度线性涨,后面每一种省法各砍一张
5. 分组共享键值:少存几份 —— 以为共享会掉质量 → 知道分组是那个折中点
6. 稀疏注意力:不必两两全比 —— 以为每个位置必须看全部 → 知道局部窗口 + 少数全局标记就够用
7. 线性注意力:用近似换阶数 —— 以为近似不掉精度 → 知道它至今没能完全替代标准注意力
8. 闪存注意力:不改数学,只改搬运 —— 以为提速要换算法 → 知道 2K 省 10 倍、4K 省 20 倍靠的是不写中间结果
9. 显存分页:借操作系统的老招 —— 以为显存只能整块分 → 知道按块分配能把浪费压下去
10. 上下文长了就一定读得懂吗 —— 以为窗口越大越好 → 知道中间那段最容易被漏掉

12 没有标签也能学

1. 标注一张 CT 要多少钱 —— 以为数据是免费的 → 知道监督学习的天花板是人的时间
2. 数据自带监督信号 —— 以为没标签就没法学 → 知道答案本来就藏在数据里
3. 不出题也能学:把相似的归成一堆 —— 以为分组要先有类别 → 知道 K 均值只要一个 K 和四步循环
4. 层次聚类与密度聚类 —— 以为聚类只有一种 → 知道有的不需要事先说要几堆,还能把异常点单独挑出来
5. 主成分分析:找到变化最大的那几个方向 —— 以为降维会丢信息 → 知道一万维的脸几十个系数就重构得出来
6. t-SNE 与 UMAP:给高维数据画张地图 —— 以为图上的距离可以直接读 → 知道它像地图投影,会扭曲面积
7. 自编码器:压下去再还原 —— 以为它只是压缩 → 知道瓶颈那一层才是产物
8. 降噪自编码器:故意弄坏再修好 —— 以为任务越难学得越差 → 知道加噪反而逼它学到结构
9. 变分自编码器:让隐空间可以被采样 —— 以为压缩器天然能生成 → 知道你得先知道该从哪儿采
10. 下一词元预测 —— 以为接龙是小把戏 → 知道要接对,语法常识指代全都得会
11. 掩码建模:遮住 75% 也能补回来 —— 以为图像信息密 → 知道它冗余得惊人
12. 对比学习:不预测值,只判断谁和谁像 —— 以为要有标签才能学相似 → 知道同一张图的两个变体天然就是正例
13. CLIP:把文字和图像放进同一个空间 —— 以为跨模态要翻译 → 知道让它们在同一张地图上做邻居就够
14. 自监督为什么等到 2018 年才爆发 —— 以为是想法太新 → 知道想法很老,是四个条件同时到位

13 在试错中成长:强化学习

1. 怎么教一只狗坐下 —— 以为要讲道理 → 知道只需要在对的那一刻给肉干
2. 和前两种学习的区别 —— 以为都是「给数据学规律」→ 知道这里没有标准答案,只有分数
3. 延迟奖励与功劳分配 —— 以为好坏当场就知道 → 知道一盘棋赢了,不知道功劳该记在哪一手
4. 探索与利用 —— 以为找到好办法就该一直用 → 知道不试新的可能永远停在次优
5. 五个要素:状态、动作、奖励、策略、转移 —— 以为强化学习门槛在数学 → 知道这五个词就是全部语言
6. 折扣因子决定智能体的性格 —— 以为它是数学技巧 → 知道它决定了短视还是长远
7. 值函数:给局面打分 —— 以为要一直算到终局 → 知道一个分数就概括了「从这里出发能拿多少」
8. 悬崖行走:两条路各算一遍 —— 以为最短路就是最优 → 知道会犯错的智能体绕远路反而划算,而 Q 学习和 SARSA 正好各偏一边
9. 用神经网络代替那张表 —— 以为表格法够用 → 知道围棋的局面数根本不可能列表
10. 深度 Q 网络:从像素学会打砖块 —— 以为它只是记住动作 → 知道它自己发现了打隧道那一招
11. 策略梯度:直接学招式 —— 以为都得先估分 → 知道连续动作上估分根本行不通
12. 演员-评论员与 PPO —— 以为训练崩了是运气 → 知道一步迈太大,后面的数据就全废了
13. 用人的偏好当奖励 —— 以为打分比排序精确 → 知道两两比较的一致性高得多
14. 奖励怎么设计 —— 以为写清目标就行 → 知道稀疏给不动、稠密会跑偏,而塑形不当就会被钻空子
15. 奖励够不够 —— 以为这是技术问题 → 知道它是一个有争议的研究立场,不是定理

14 分词与解码:模型眼里的文字

1. 模型看到的不是字 —— 以为它读的是句子 → 知道它读的是一串编号
2. 按字切太细,按词切切不动 —— 以为分词有标准答案 → 知道中文的词边界本来就模糊
3. 字节对编码:从最高频那一对开始合 —— 以为它有语言学依据 → 知道它只数频率
4. 一次合并到底做了什么 —— 以为流程复杂 → 知道就是「找最高频的一对、给它一个新编号、全文替换」
5. 词元和字数对不上 —— 以为一个词元就是一个字 → 知道英文约 0.75 个单词、中文约 1 到 1.5 个汉字
6. 为什么它数不清单词里有几个字母 —— 以为是笨 → 知道它看到的是几个块,不是一个个字母
7. 一次生成的完整链路 —— 以为模型直接吐字 → 知道要过分词器、向量、多层处理、原始分数、概率、挑一个
8. 原始分数和概率是两样东西 —— 以为模型输出概率 → 知道概率是最后一步才归一化出来的
9. 温度:把分布拧尖还是摊平 —— 以为温度是随机性开关 → 知道它是在缩放原始分数
10. 只在前几个里挑:Top-K 与 Top-P —— 以为随机采样就够 → 知道长尾里偶尔会蹦出离谱的词
11. 束搜索为什么用得越来越少 —— 以为多留几条路更好 → 知道它生成的东西安全但平庸
12. 分词决定了很多奇怪的错误 —— 以为模型错在推理 → 知道相当一部分错在它看世界的最小单位

15 造一个大语言模型:数据、规模与账单

1. 目标简单到可笑:猜下一个词 —— 以为要教它知识 → 知道知识是猜词猜出来的副产品
2. 为什么是语言先突破 —— 以为语言只是一种数据 → 知道它是人类几千年对世界的一次次压缩
3. 十万亿词元是什么概念 —— 以为「很多」→ 知道相当于九千多万本书,一个人读要两百多万年
4. 数据从哪来,又要洗掉什么 —— 以为下载就行 → 知道去重、去毒、去污染每一步都是工程
5. 规模法则:这条直线改变了投资观念 —— 以为砸钱是赌博 → 知道花十倍算力能对应一个可预测的下降
6. 配比:参数和数据要配平 —— 以为参数越大越好 → 知道早期很多大模型其实是欠训的
7. 一台巨兽要多少张卡 —— 以为是几十台机器 → 知道是千卡量级、连续跑几十天(怎么组织、坏了怎么办,第 18 章讲)
8. 训练成本的量级 —— 以为是天文数字就不必细究 → 知道 278.8 万卡时 × 每小时 2 美元 = 557.6 万美元
9. 稳定性:这么大的训练每天都出事 —— 以为出问题是水平差 → 知道规模一大,故障就是常态
10. 三类模型家族 —— 以为只有排行榜第一名重要 → 知道闭源前沿、开放权重、端侧小模型各有各的活
11. 从零训一个能聊天的模型要几步 —— 以为遥不可及 → 知道六个脚本就跑完一整条流水线
12. 推断成本才是长期账单 —— 以为训练最贵 → 知道训练做一次,推断天天做

16 后训练:让它从续写机器变成助手

1. 预训练完的模型并不好用 —— 以为它天生会回答问题 → 知道它只会顺着往下写
2. 指令微调:几万条「指令-回答」对 —— 以为要重训 → 知道在原来的底座上接着训一小段就行
3. 数据质量远比数量重要 —— 以为越多越好 → 知道约一千条高质量样本就能出效果
4. 只在回答上算损失 —— 以为整段都要学 → 知道问题那半截要被标位屏蔽掉
5. 光听指令还不够 —— 以为听话就是对齐 → 知道诚实、无害、风格都不在指令里
6. 收集偏好:为什么用排序不用打分 —— 以为打分更精确 → 知道不同人的分数标准差得离谱
7. 省钱的微调:只训一个低秩旁路 —— 以为微调要动全部参数 → 知道加一对小矩阵就够,而且 B 从全零起步
8. 奖励模型与 PPO 三步走 —— 以为强化学习太重 → 知道有一条 KL 紧箍咒把它拴住
9. 直接偏好优化:跳过奖励模型 —— 以为对齐必须走强化学习 → 知道有一个数学变换把它改写成类似分类的损失
10. 用可验证的答案当奖励 —— 以为奖励只能来自人 → 知道数学题对不对、测试过不过就是现成的奖励
11. 宪法式对齐:把原则写下来让它自己批改 —— 以为对齐只能靠人力标注 → 知道原则加自评能把这件事扩展开
12. 同一个底座,不同的性格 —— 以为模型的语气是随机的 → 知道它是后训练数据和策略塑造出来的

17 涌现、长思考与能力边界

1. 有些能力是突然变得可用的 —— 以为能力平滑上升 → 知道有些任务在临界点前一直趴在底上
2. 涌现这个词有争议 —— 以为它是已证实的相变 → 知道争的是「分数曲线是不是真的跳变」
3. 上下文学习:不改一个参数也能学会新规则 —— 以为学习必须更新参数 → 知道给三行例子它就照做
4. 思维链:让它把中间步骤写出来 —— 以为多写字是浪费 → 知道复杂问题需要中间步骤来承载
5. 写出来的思考不等于真实的思考 —— 以为那是它的内心独白 → 知道有时更像事后解释
6. 推理模型:回答前先想一会儿 —— 以为提升只能靠训得更大 → 知道回答时多花计算也能变强
7. 它擅长什么、不擅长什么 —— 以为能力边界模糊 → 知道六类局限各自对应一种工程补丁
8. 一本正经的编造 —— 以为幻觉是个可以修掉的缺陷 → 知道根子在训练目标,只能压不能消,而三种来源各对应一种缓解
9. 为什么它算不对三位数乘法 —— 以为模型不够大 → 知道范式不对,该交给计算器
10. 奉承:说你爱听的话 —— 以为它在讨好 → 知道是训练时人更爱给顺耳的回答打高分
11. 每一步都可能出错 —— 以为单步很强就够 → 知道长任务会把小错放大(这条曲线第 20 章会用具体数字算一遍)
12. 怎么把话问对 —— 以为提示工程玄乎 → 知道核心只有五条,而且第五条是「检查而不是相信」
13. 挑哪个模型 —— 以为越贵越好 → 知道先看任务最难的那一步需要什么

18 钢与硅:AI 的物理底座

1. 卧室里那台台式机 —— 以为改变世界的实验在超算上跑 → 知道它跑在两块游戏显卡上
2. 显卡为什么正好合用 —— 以为是巧合 → 知道渲染画面和矩阵乘法是同一种胃口
3. CUDA:一场十年没人看好的下注 —— 以为护城河是硬件 → 知道是一整套软件生态
4. Transformer 和显卡是天作之合 —— 以为算法和硬件各走各的 → 知道换成循环网络,再多卡也只能干瞪眼
5. 一颗旗舰芯片是什么 —— 以为参数表看不懂 → 知道一块巧克力大小、800 亿个开关、700 瓦
6. 从一颗卡到一座工厂 —— 以为集群就是很多台电脑 → 知道节点、机柜、机房、数据中心是四个层级
7. 三种把模型切开的办法 —— 以为切开就完事 → 知道切法决定了通信量,而通信才是真正的瓶颈
8. 故障是常态,不是例外 —— 以为万卡集群应该很稳 → 知道 54 天里 466 次中断,平均三小时一次
9. 电、水、地、政策 —— 以为算力是算法问题 → 知道选址第一问是「这块地能不能拉来几百兆瓦」
10. 算力效率工程:同样的卡榨出不同的力 —— 以为差距在硬件 → 知道低精度、流水线、底层算子能差出一个量级
11. 从训练时代到推断时代 —— 以为算力主要花在训练上 → 知道用的人一多,推断就成了主要增量(注意:这里的推断指模型训好之后拿来用,不是解题那个推理)
12. 算力主权 —— 以为芯片只是商品 → 知道它已经和国家战略绑在一起
13. 摩尔定律慢下来之后 —— 以为算力会一直翻倍 → 知道现在要靠堆叠、芯粒、专用电路接力

19 智能体:从会说到会做

1. 会说和会做之间隔着什么 —— 以为大模型能直接办事 → 知道它只能写字,动作必须外包
2. 五个组件 —— 以为智能体是一个新模型 → 知道它是大脑加上手脚、记忆、计划和反馈
3. 工具:它和世界的每一个接触点 —— 以为工具是插件 → 知道它就是一段被模型点名去跑的普通程序
4. 想、做、看:一圈一圈往前推 —— 以为它一次规划到底 → 知道它每做一步都要看结果再决定下一步
5. 记忆分几层 —— 以为记忆就是把对话都存下来 → 知道该记什么、该忘什么才是难题
6. 一份共同规矩:让工具能被通用地接进来 —— 以为每接一个工具都要改代码 → 知道有一套接口标准在做这件事
7. 技能:把做事的方法打包 —— 以为工具就够了 → 知道工具管「能做什么」,技能管「该怎么做」
8. 驾驶舱:同一个模型套上不同的壳 —— 以为产品差异来自模型 → 知道很大一部分来自外面那层壳
9. 检索增强:回答前先查资料 —— 以为它知道公司内部的事 → 知道那些内容根本不在它的训练数据里
10. 编程智能体为什么最先跑通 —— 以为程序员先被冲击是巧合 → 知道代码天生自带对错判据
11. 让它替你点鼠标 —— 以为看懂截图就能操作 → 知道它给的坐标活在缩放后的坐标系里,得先复原再乘回真实像素
12. 多智能体:一个人还是一个组 —— 以为人多力量大 → 知道角色和验证机制不清楚时只会更贵
13. 反思与自我改进 —— 以为它做完就完了 → 知道把教训写进笔记,下次能少走弯路

20 智能体为什么不可靠

1. 每步 95% 听起来很高 —— 以为 95% 已经够用 → 知道 20 步之后只剩 36%
2. 打破指数衰减的五条路 —— 以为要靠更强的模型 → 知道每步验证、人工确认、冗余、换模型、可回滚才是真正的抓手
3. 幻觉在行动中被放大 —— 以为错话可以一笑了之 → 知道错动作可能直接发出去、删掉、付出去
4. 提示注入:藏在数据里的指令 —— 以为它分得清哪句是你说的 → 知道在它眼里全是文本
5. 停止条件与兜底 —— 以为循环会自己停 → 知道没有上限它会一直烧钱
6. 权限分层与人在回路 —— 以为安全靠提示词 → 知道靠的是系统层的边界
7. 评估智能体比评估模型难 —— 以为看准确率就行 → 知道步数、成本、能不能回滚都要算进去
8. 已经发生过的真实事故 —— 以为这些是假想威胁 → 知道有人的生产数据库真被删过
9. 授权与问责 —— 以为出事找厂商 → 知道责任怎么分,现在还没有清晰答案

21 从噪声中创造:扩散模型

1. 一句话变一张图 —— 以为它在检索现成图片 → 知道那张图本来就不存在
2. 三代生成模型 —— 以为生成模型只有一种 → 知道糊、不稳、慢各是一代人的痛
3. 加噪:把一张图慢慢毁掉 —— 以为这一步要学 → 知道它是写死的,一个参数都不用训
4. 去噪:唯一要学的是「哪些像素像噪声」—— 以为要教它画画 → 知道只教它认噪声
5. 训练目标简单到反直觉 —— 以为生成模型要对抗 → 知道损失就是一个均方误差
6. 采样:一步一步走回来 —— 以为一次前向就出图 → 知道原始版本要跑一千次
7. 从一千步降到几十步 —— 以为慢是天生的 → 知道换个走法就能跨大步
8. 文字怎么进来 —— 以为要另训一个模型 → 知道用交叉注意力把文字挂进每一步去噪
9. 无分类器引导:给提示加力 —— 以为它会乖乖听话 → 知道要沿着「有条件减无条件」那根向量再推一把
10. 隐空间扩散:把昂贵的活搬到小房间做 —— 以为省算力要牺牲质量 → 知道先压缩再扩散几乎不掉分
11. 图生图、局部重绘、向外扩展 —— 以为它只会从零画 → 知道从「加了部分噪声的原图」起步就是编辑
12. 精细控制与个性化 —— 以为只能靠提示词 → 知道骨架图、深度图和几十张样例都能当条件
13. 从图像到视频、分子与蛋白质 —— 以为扩散是画画专用 → 知道凡是连续高维的东西都能这么生成

22 看听说一体:多模态

1. 只读文字的模型缺了什么 —— 以为文字够用 → 知道「苹果」到底是水果还是公司,一张图就解决了
2. 模态是机器的感官通道 —— 以为多模态就是功能多 → 知道每种信号的密度和时间特性完全不同
3. 让图像变成词元 —— 以为要改模型 → 知道切成小块、每块当一个词就行
4. 视觉编码器 + 投影器 + 语言模型 —— 以为多模态模型是全新架构 → 知道主流做法是在原来的模型前面接两块
5. 两阶段训练:先对齐,再学答题 —— 以为一次训完 → 知道先冻住两头只训中间那一小块最省
6. 高分辨率怎么办 —— 以为把图放大就行 → 知道 256 个词元装不下小字,得动态切片
7. 拼接式与原生式 —— 以为原生一定更好 → 知道代价是数据、算力和评测全都更难
8. 声音:先变成一张图 —— 以为语音要专门的模型 → 知道把波形画成时间×频率的图,剩下的交给同一套架构
9. 级联语音对话丢掉了什么 —— 以为转成文字没损失 → 知道语气、停顿、笑声全在这一步没了
10. 原生语音:把声音也变成词元 —— 以为延迟是网络问题 → 知道是三段串联本身带来的
11. 视频:多出来的那一维 —— 以为多抽几帧就行 → 知道 40 分钟抽 2400 帧,上下文立刻爆掉
12. 视频生成:时空块当词元 —— 以为视频生成是图像生成重复很多次 → 知道难在时间上要连贯
13. 任意到任意 —— 以为跨模态转换要一对一训 → 知道全部离散成词元后,一个模型就能通吃
14. 多模态的新麻烦 —— 以为多一个感官只会更准 → 知道它会用非常自信的语气看错小字

23 AI 遇上科学

1. 科学研究的第四种做法 —— 以为科研只有实验和理论 → 知道数据驱动已经是第四条腿
2. 蛋白质折叠:五十年的老问题 —— 以为测结构是常规操作 → 知道过去测一个要几个月到几年
3. 从 20 多分爬到约 92 分 —— 以为进步是渐进的 → 知道二十多年挤牙膏,两届比赛连续顶破
4. 它是怎么做到的 —— 以为靠模型更大 → 知道靠演化信息、成对距离和端到端训练三件事叠加
5. 结构预测之后:药物与蛋白质设计 —— 以为预测就是终点 → 知道下一步是造出自然界没有的分子
6. 从基因到大脑 —— 以为生命科学只有蛋白质这一块 → 知道变异打分、单细胞分群、神经连接组各有各的 AI
7. 材料与化学:先筛掉不可能的那几百万 —— 以为 AI 直接发明材料 → 知道它是一台超级筛沙机
8. 气象:一条快得多的新路线 —— 以为天气预报只能靠物理方程 → 知道机器学习模型能在很短时间内跑完全球预报
9. 数学:辅助线从哪冒出来 —— 以为数学最不可能被 AI 碰 → 知道神经网络猜、符号引擎验,两者配合能拿奖牌
10. 相关不等于因果 —— 以为找到规律就是发现 → 知道冰淇淋和溺水一起涨,凶手是高温
11. 可解释性、外推与守恒 —— 以为准就够了 → 知道科学模型不能违反守恒律
12. 双重用途 —— 以为加速只有好处 → 知道同一套能力能设计药也能设计毒

24 走进物理世界:具身智能

1. 大象不下棋 —— 以为难的是下棋 → 知道难的是走路和抓杯子
2. 经典机器人学的三根柱子 —— 以为机器人是新东西 → 知道感知、规划、控制这套框架已经用了六十年
3. 接触是一场临时谈判 —— 以为抓取是几何问题 → 知道摩擦、弹性、微小滑动全都在里面
4. 视觉-语言-动作:把动作也接到同一个模型上 —— 以为机器人要另起炉灶 → 知道它继承的是大模型学到的世界知识
5. 动作怎么表示 —— 以为动作就是几个数 → 知道离散成词元、一次出一串、当成分布来采样是三种不同的路
6. 一次预测 50 步 —— 以为控制要一步一步来 → 知道分块能少犯错也少跑模型
7. 扩散动作头:同一情况可以有好几种做法 —— 以为要给出唯一答案 → 知道求平均反而谁也不像
8. 走查:把桌上的红苹果给我 —— 以为指令要翻译成代码 → 知道它直接输出七个关节加夹爪的动作
9. 夹爪合拢那一刻苹果滑了 —— 以为抓住就完事 → 知道模型要从新画面里看出滑动、重新调整
10. 大脑与小脑:两个时间尺度 —— 以为一个模型全包 → 知道理解慢、控制快,得分开跑
11. 世界模型:先在脑子里过一遍 —— 以为试错必须在现实里 → 知道大部分摔跤可以搬进电脑
12. 仿真到现实那道坎 —— 以为仿真里能跑就行 → 知道摩擦、噪声、光照全都对不上
13. 域随机化:在天天换地板的训练馆里练 —— 以为仿真要越真越好 → 知道故意让它乱变反而迁得动
14. 触觉:机器人的皮肤 —— 以为有摄像头就够 → 知道人闭着眼能摸出钥匙靠的是别的东西
15. 数据从哪来 —— 以为机器人数据也能爬网 → 知道每一条演示都要真机或真人录
16. 物理世界没有撤销键 —— 以为可靠性问题和软件一样 → 知道摔碎的盘子不能回滚,只剩人类硬闸门和摔倒后自己爬起来
17. 人形为什么值得做 —— 以为是为了像人 → 知道整个世界的尺寸都是按人定的
18. 现在到了哪一步 —— 以为量产在即 → 知道工厂试点和进家门之间还差好几座山

25 脆弱的巨人(一):看不见的攻击面

1. 熊猫变长臂猿 —— 以为模型和人看到的是同一张图 → 知道差别小到肉眼看不见,判断却全反了
2. 攻击的数学和训练是镜像 —— 以为攻击很难 → 知道把梯度反着用就行
3. 迁移性:不知道内部也能攻 —— 以为闭源就安全 → 知道在别的模型上算出来的样本也骗得过
4. 走出屏幕:贴纸、T 恤、眼镜 —— 以为这是纸上谈兵 → 知道路牌上贴几张纸就被读成限速 45
5. 对抗训练与它的代价 —— 以为能一劳永逸 → 知道鲁棒和准确之间有取舍
6. 数据投毒:在训练阶段动手脚 —— 以为训练数据是干净的 → 知道任何人都能往公开网络里写东西
7. 后门:平时正常,见到触发器才发作 —— 以为测试能发现 → 知道干净数据上它和正常模型一模一样
8. 模型记住了训练数据 —— 以为它只学规律 → 知道让它无限重复一个词就能抖出真实姓名和邮箱
9. 差分隐私与联邦学习 —— 以为匿名化就够 → 知道要的是「有没有你这条数据,结果几乎一样」
10. 分布偏移:训练场外的世界 —— 以为测试集分数能代表现实 → 知道它可能学的是「这张片来自哪家医院」
11. 学会说我不知道 —— 以为模型总该给个答案 → 知道拒答有时比硬猜更有价值
12. 数据质量才是大头 —— 以为问题出在算法 → 知道公开数据集里都有约 6% 的错标

26 脆弱的巨人(二):问责、偏见与对齐

1. 幻觉在问责场景里变成什么 —— 以为加一句「不确定就说不知道」能兜住 → 知道医疗法律新闻里,兜不住的是责任
2. 越狱:让它说不该说的 —— 以为护栏是硬规则 → 知道换个角色扮演的壳就可能绕过去
3. 长上下文反过来打了对齐 —— 以为窗口变长只有好处 → 知道塞进几十个示例它就跟着学坏
4. 提示注入为什么难防 —— 以为过滤关键词就行 → 知道指令和数据在模型眼里没有边界
5. 奖励作弊:学会了得分,没学会做事 —— 以为智能体在偷懒 → 知道是我们把评分表写歪了
6. 欺骗性行为:安全训练未必清得掉 —— 以为对齐训练能覆盖旧行为 → 知道埋进去的条件式后门很难被完全去除
7. 偏见不是 AI 发明的 —— 以为算法中立 → 知道它把历史里的不公包装成客观规律
8. 公平的几种定义会互相打架 —— 以为公平是一个目标 → 知道数学上证明了不能同时满足
9. 黑箱:医生该不该信那个 87% —— 以为准就够 → 知道问责场景里说不出理由就没法用
10. 打开黑箱:从行为到回路 —— 以为内部无法理解 → 知道能找到「金门大桥」那一个特征并按住它
11. 对齐:说出口的和真正想要的 —— 以为把目标写清楚就行 → 知道你说不清的那些约束才是关键
12. 从人类反馈到宪法式对齐 —— 以为标注更多就更对齐 → 知道人只能评判他看得懂的那部分
13. 可扩展监督:比我们聪明之后怎么管 —— 以为总有办法检查 → 知道连专家都要几个月才能判断时,实时监督就失效了
14. 深度伪造与说谎者的红利 —— 以为最大危害是造假 → 知道更深的危害是真东西也能被赖成假的
15. 安全不是口号,是一套流程 —— 以为安全靠自觉 → 知道靠的是数据说明、模型卡、红队、权限、日志、回滚
16. 治理:从法案到峰会 —— 以为立法跟不上就等于没有 → 知道分级监管已经落地并在分阶段适用

27 通往通用智能

1. 一个词的七十年漂流 —— 以为通用人工智能是新词 → 知道它是 AI 的原始目标,中途被搁置了二十多年
2. 四种通用人工智能,四套时间表 —— 以为大家说的是同一件事 → 知道听到「五年内就来」要先问是哪一层
3. 会考试不等于会生活 —— 以为分数能代表能力 → 知道题目一旦成为目标就会被刷
4. 锯齿状智能 —— 以为智能是一条线 → 知道它在有的维度远超人、有的维度不如孩童
5. 五道还没跨过的关卡 —— 以为差的只是规模 → 知道事实性、长期规划、因果、持续学习、物理具身各是一道
6. 相关容易,因果难 —— 以为学会规律就是理解 → 知道「不让公鸡打鸣太阳还升不升」它答不上来
7. 定格的大脑:学新的就忘旧的 —— 以为续训就能更新知识 → 知道新梯度会把旧知识盖掉
8. 五阶段路标 —— 以为进展没法比较 → 知道有一把粗糙但好用的尺子
9. 继续变大这条路 —— 以为规模法则是定律 → 知道它是经验曲线,数据和电力都可能先撞墙
10. 长思考这条路 —— 以为它能凭空造出知识 → 知道它是杠杆,支点还是底座模型
11. 自我进化这条路 —— 以为自学一定加速 → 知道它受算力、验证反馈和真实实验的约束
12. 从身体里学这条路 —— 以为看视频就够 → 知道「做」和「看」不是一回事
13. 时间表为什么差十倍 —— 以为总有一方在炒作 → 知道分歧来自定义、对规模的信心和立场三重叠加
14. 人在这个时代的位置 —— 以为讨论的是会不会失业 → 知道讨论的是「人该成为什么样的人」

五、许诺台账(总纲末尾兑现表的草稿源)

正文里每一处「第 N 章讲」「后面会讲」都记在这里,写完逐行核。 定稿版进 index.md 末尾,这里只留写作时的工作副本:

许诺在哪	应兑现在哪
index §主线 第 2 步	03 §4「梯度下降:蒙着眼下山」
index §主线 第 4 步	06 §5「卷积到底在算什么」
index §主线 第 5 步	09 §4「打分、归一、加权求和」
index §主线 第 7 步	15 §5「规模法则」
index §主线 第 8 步	17 §1「有些能力是突然变得可用的」
index §主线 第 9 步	16 §5「光听指令还不够」
index §主线 第 11 步	19 §4「想、做、看」
index §主线 第 12 步	20 §1「每步 95% 听起来很高」
index §主线 第 14 步	21 §4「去噪」
index §主线 第 16 步	27 §4「锯齿状智能」
03 §2	18 §11「从训练时代到推断时代」
07 §8	09 §1「那只猫没过马路」
10 §4	10 §5「位置编码」
11 §1	11 §4「长文其实有两张账单」
15 §7	18 §7「三种把模型切开的办法」+ §8「故障是常态」
17 §11	20 §1「每步 95% 听起来很高」
19 §9	19 §9 本节内(检索增强当场讲完)
24 §16	20 §2(回指,不重讲)
25 §12	26 §7「偏见不是 AI 发明的」