LLM(大语言模型——读海量文字、学会接着往下写的机器)学习路线图 — 全书拆解
30 秒导读: 这是一本 2025 年自版的路线图书——27 篇博客文章的合订, 回答一个问题:想把大语言模型(LLM——就是读海量文字、学会接着往下写的那种机器)从入门走到能用,该按什么顺序学、每一步做到什么程度算过关。 原书给足了顺序,但几乎没给讲解与验收——这两样是本次拆解补的。 读完这份拆解不必看原书;想看原书,也请先读它。
1. 先交代清楚:这是谁在什么时候写的
| 作者 | Youssef Hosni——数据科学家,在 Ment 把「能自己生成内容」的 AI 做进产品功能,兼阿尔托大学应用研 究1 |
| 出版方 | 没有出版社。封面署名「To Data & Beyond」——作者自己的博客品牌,自版2 |
| 成书时间 | 正文最晚事件是 2025 年 2 月(OpenAI 发布 Deep Research),成书约 2025 年上半年3 |
| 体裁 | 27 章几乎每章都是「几段引言 + 一份带简介的资源(课程、博客、论文这些学习材料)清单」;知识本体在书单指向的外部材料里 |
读之前要知道的两件事:作者在卖自己的课与通讯(书里推荐自家 newsletter 两次), 全书是博客拼盘(编辑粗糙:术语写错、段落复制错位)——推荐本身大多靠谱, 但每个具体条目都要自带时效与事实过滤器。
2. 全书一条主线(读完这一节,你就懂了这本书)
原书的四部其实是一条被逼出来的路线:每一段解决上一段留下的问题。 下面把这条链走完——只读这一节,你也能把这本书讲给别人听。
① 它是什么:一次吐一个词块的猜词机器
你见过的所有 AI 聊天,底层动作只有一件事:算出「下一个词块」的候选清单,挑一个接上, 再算下一个。一个叫温度的旋钮(管挑词敢不敢冒险)决定挑得多大胆——所以同一个问题问两遍答案不同,是设计不是故障。 (机制怎么转,第 02 章讲。)
② 想让它专精:不从零造,拿现成的掰
从零训练(自己拿海量文本、从零养出一台会说话的机器)要读到以万亿计的词,个人与中小企业碰不了。
但现成的模型(那台读文字、算下一个词的机器)已经「会说话」,缺的只是你的场景。
微调(在现成模型上用一小份自己的数据、小步调整)就是那一下「掰」——个人做得动。
靠的是一个拆细的技巧:只调一小部分参数(参数就是模型里那些可调的数),底座冻住不动。
省下的那笔显存(显卡上那块高速工作内存)账怎么算,第 03 章算给你看。
③ 掰完必须测:它变好了吗
「感觉变好了」不算数。评测有三张不同的考卷:任务自己的题、公开基准、 人类两两投票的竞技场——三张各测一样东西,只报一张是选择性举证。 这一站最有分量的一个数:13 亿参数的模型经人类反馈调教后,回答比 1750 亿参数的原版 更受人类喜欢——参数少一百倍(这个证据从哪来,第 04 章讲)。
④ 跑不动就压:量化
训好的模型几十 GB,消费级显卡装不下。量化(把参数的存储精度——一个数用多少位来记——从 32 位 压到 4~8 位)用可容忍的失真换一半以上的显存——四种压缩方法的分界 只有一句话:缩放值什么时候算、拿什么算(第 04 章把四种各走一遍)。
⑤ 不听话就调:对齐
会写不等于会好好答。有一类学法叫强化学习(不给标准答案,让机器自己试,人对试的结果打分)。
RLHF(把人类反馈接进上面那种试错学法)分三步。
先示范;再训一个模拟人类口味的打分器(替人给答案打分的模型);最后让打分器当教练自动调—— 人的口味被它固化成一台可以自动运转的机器。 以上 ③④⑤ 就是原书训练部的后半: 评测是量尺,量化与对齐是两次手术,每次手术后都要回到量尺(第 04 章串成循环)。
⑥ 应用层:先在模型外面做文章
到了「拿模型做产品」,原书排出的次序是按成本排的:先调提示 (你发给模型的输入文本,改它零成本)。
知识不够(公司文档模型没见过)就上 RAG(正式名叫检索增强生成:先查资料、把资料塞给模型、让它照着答), 最后才考虑动模型本身。
RAG 管线答非所问时,有一张按环节检修的表 (修提问、修取回、修塞给模型的资料,第 05 章给全)。
⑦ 基础设施层:跑起来、扛得住、守得住
要自己跑模型:本地跑为的是隐私(数据不出机器);上线要在四种部署形态里选 (本地 / 演示 / 服务器——租云上一台常年在线的机器 / 边缘——塞进手机汽车,是决策表不是难度阶梯)。
慢了有三招(KV 缓存——把算过的中间结果存起来复用、连续批处理、投机解码,各修一个瓶颈); 稳不稳靠把评测挂进流水线。
安全上,提示注入(用一句构造的话骗模型无视规则)是头号漏洞。 (一条请求的一生怎么走,第 06 章讲。)
⑧ 多步任务:从管线到会自己接手的系统
问答管线的形状是工程师写死的;agent(智能体:模型自己决定下一步做什么的系统) 把决策权交给模型——比管线多了三样东西。
第一样:工具调用(模型点名用哪个工具、参数是什么,代码替它执行)。
第二样:记忆(把说过做过的存下来备用);第三样:循环——做完一步,由它自己决定下一步。
模型要接外面的工具,应用与工具两两对接是乘积级的死活; MCP(模型上下文协议——给应用和工具定的一份通用对话规则,这份规则就是它说的协议)把乘法压成加法。
做法:应用写一次客户端(替应用去对话的那一端)、 工具写一次服务器,从此任意配任意(一条真实的消息流,第 07 章走)。
⑨ 收口:把学到的东西变成凭证
项目分三档:点子档用来选题,跟做档用来练手,生产级才写简历—— 原书作者明说教育级项目「不够放上简历」。差距拢成三条: 端到端(从想法到上线一条链做完)、可评测、有部署路径(第 08 章给简历一行的写法)。
⑩ 一句话收尾
这本书卖的不是知识,是顺序与验收:训练按「先数据后模型」, 生产按「先输入后数据 后基础设施」,项目按「离真实世界的距离」。 每一步做到什么算过关——原书没写的这一半,是本拆解存在的理由。
3. 八章地图
每章名字后面写的是「读完你能回答什么」。
| 章 | 读完你就能回答 |
|---|---|
| 01 这是一本什么书 | 这张路线图凭什么这个顺序?我卡在哪一站、该补什么? |
| 02 基础站 | 模型怎么读句子、怎么挑词?入门清单上的材料各管哪条心智模型? |
| 03 训练站(上) | 数据怎么造?LoRA(只训两块小表格的省显存微调法)凭什么让个人微调 7B 成为可能?14 个 notebook 怎么选? |
| 04 训练站(下) | 「我的模型更好」这句话该追问什么?量化四法差在哪?RLHF 三步怎么转? |
(前四章管「把模型造出来」,后四章管「让模型用起来」。)
| 05 生产站(上) | RAG 答非所问,该修哪一环?文字怎么变成能查的数(行话叫嵌入)、怎么存怎么取,第 05 章拆开讲? | | 06 生产站(中) | demo 与生产差在哪?生成为 什么慢?提示注入怎么防? | | 07 生产站(下) | 我的任务该用 agent 还是固定管线?MCP 解决的是什么死局? | | 08 作品集站 | 下一个项目做哪个档?简历上一行怎么写才有分量? |
推荐顺序: 01 → 02 → … → 08,即原书的路线顺序。 只想解决一个具体问题的,按 01 章末尾的自查表直接跳站。
4. 这本书覆盖什么、不覆盖什么
覆盖(路线的骨架与选材,读完你能回答):
- 四段学习路线为什么是这个顺序,每一段的验收标准是什么;
- 从数据到微调到评测到量化到对齐的完整训练流程,每一步在解决什么问题;
- 从提示到 RAG 到部署到运维到安全的生产链条,按什么成本逻辑排序;
- agent 的能力构成与课程阶梯,MCP 解决的对接死局;
- 项目从练手到简历的三档阶梯与验收的三条。
不覆盖(别指望在这本里找):
| 缺什么 | 说明 |
|---|---|
| 任何机制的讲解 | 模型内部那些部件为什么有效——书单指路,讲解为零;本拆解逐章补齐 |
| 成本账 | 一次请求多少钱、训练要烧多少卡,全书无一处数字 |
| 从零预训练(自己拿海量文本造模型,而非拿现成的调) | 全部内容假设你拿现成底座 |
| 2025 下半年之后的世界 | 所列工具是 Llama 2 / Mistral 那一代(2023–2024),聊天服务还在 ChatGPT 的 3.5 档;量化与 RAG 的方法论不过时,具体工具名大半已换代 |
| 评测的深水区 | 考题泄进训练材料、评测集自带立场、刷榜,一字未提 |
5. 今天读,要修正的三处
成书约 2025 年上半年。 三处不是它写错,而是它没跟上:
| 书里的状态 | 该怎么修正 |
|---|---|
| 微调以 LoRA 系(只调一小部分参数的那族方法)为主线,把全量微调当「昂贵但常规」 | 今天 LoRA 系是默认选项,全量微调在个人场景基本消失;DPO(不训打分器,直接拿人类偏好数据调)等免强化学习的对齐方法已分流 RLHF 的第三步——原书未收(补充(不在书里,来自通用知识);边界交代见 04 章 §7) |
| 模型底座停在 Llama 2 / Mistral / Falcon | 换成当期底座即可;14 个 notebook 里可换的三样(数据集、底座大小、精度)是不过时的部分 |
| agent 课程以 DeepLearning.AI 短课为主,评测只有 AgentBench 一个名 | 课程半年一换代,以当期为准;但「先问能不能不用 agent」的判断比任何课程长寿 |
判断(我们的,不是书里的): 这本书在今天的第一用途是当学习路线的骨架, 第二用途才是当资源清单——清单过时速度以月计,路线形状过时速度以年计。 资源清单跟着 01 章的自查表用:卡在哪一站,再去那一站找当期材料。 如果错,会错在: 如果路线本身的形状也过时了(比如「自己微调」被 托管微调服务完全取代),那这本书的价值会塌到只剩「历史样本」—— 从 2026 年看,路线各站仍然成立,只是每站的工具换了几轮。
6. 我们的判断
判断(我们的,不是书里的): 原书最大的缺口不是知识,是验收。 「学什么」的书满地都是,「做到什么程度算过关」的书几乎没有—— 而自学失败的人,绝大多数不是没找到材料,是不知道自己到站了没有。 本拆解每一章都补了一张验收表,这是全书最值得带走的部分。 如果错,会错在: 如果验收标准因岗位而异(平台工程师与产品工程师 对「过关」的定义完全不同),单一验收表就会误导——我们给的表 按本书路线(偏工程实践)定制,换目标要重订。
判断(我们的,不是书里的): 全书有三个声音要分开: 作者的课程推荐(大体靠谱,但夹带自家通讯)、 转述的课程宣传(如「agent 是下一个突破」——是课方的乐观,不是论证)、 以及作者的技术陈述(量化一章最可靠,「10% 精度提升」「万亿参数」这类无出处的数字最不可靠)。 如果错,会错在: 把课程宣传当作者判断引用,会给这本书安上它没有的立场。
7. 许诺兑现表
这份拆解里每一处「第 N 章 讲」,都在这里记一行、逐行核过。
| 许诺在哪 | 许诺了什么 | 应兑现在哪 | 核过了吗 |
|---|---|---|---|
| 本页 §2 ① | 一次吐一个词块、随机是设计的机制 | 02 §3–§6(四条心智模型,含走查) | ✓ |
| 本页 §2 ② | 显存账怎么算、为什么只调一小部分参数 | 03 §5(全量 vs LoRA vs 4-bit 版三笔账) | ✓ |
| 本页 §2 ③ | 「13 亿胜 1750 亿」这个证据的来历 | 04 §5(RLHF 三步与「以小胜大」那篇论文的引文) | ✓ |
| 本页 §2 ④ | 量化四法的分界(缩放值何时算、拿什么算) | 04 §4(四法对照表 + AWQ 走查) | ✓ |
| 本页 §2 ⑤ | 评测是量尺、量化对齐是手术、术后必回测 | 04 §1(循环图)与 §2–§3(三问框架) | ✓ |
| 本页 §2 ⑥ | RAG 答非所问时的检修表 | 05 §4(进阶六件套按环节归位表) | ✓ |
| 本页 §2 ⑦ | 一条请求的一生、三招各修哪个瓶颈 | 06 §4(主走查)与 §6(注入走查) | ✓ |
| 本页 §2 ⑧ | 一条真实的 MCP 消息流 | 07 §5(五步走查) | ✓ |
| 本页 §2 ⑨ | 简历一行的写法 | 08 §5(模板与三要素) | ✓ |
| 本页 §3 地图 01 | 卡在哪一站的自查 | 01 §4 末自查表 | ✓ |
| 本页 §3 地图 02 | 模型怎么读句子、怎么挑词 | 02 §3–§6 | ✓ |
| 本页 §3 地 图 03 | 数据怎么造;LoRA 显存账;notebook 怎么选 | 03 §3、§5、§7 | ✓ |
| 本页 §3 地图 04 | 追问什么;量化四法;RLHF 三步 | 04 §2、§4、§5 | ✓ |
| 本页 §3 地图 05 | RAG 修哪一环;嵌入这件新东西在干什么 | 05 §3、§4 | ✓ |
| 本页 §3 地图 06 | demo 与生产的差距;为什么慢;注入怎么防 | 06 §1、§4、§6 | ✓ |
| 本页 §3 地图 07 | agent 还是管线;MCP 解决什么 | 07 §6(判断块)、§5 | ✓ |
| 本页 §3 地图 08 | 项目选哪个档;简历一行 | 08 §3–§5 | ✓ |
| 本页 §5 表第 1 行 | DPO 等免强化学习方法的分流 | 04 §7 第 4 条(以边界交代兑现) | ✓ |
01 §4 走查 | 四条心智模型、LoRA 显存账、评测三问、量化、RAG、部署运维、agent、三档项目 | 02 §3–§6 · 03 §5 · 04 §2/§4 · 05 §4 · 06 §3/§5 · 07 §2/§3 · 08 §2–§5 | ✓ |
02 §5 | 从零训练不是个人选项、微调才是 | 03 §4、§5(显存账收束) | ✓ |
02 §3 | 微调时数据要先过同一套切词工序 | 03 §7(流水线第二格) | ✓ |
02 §6 | 生成慢的根源与提速要回到挑选环节说话 | 06 §4(生成慢的结构性根源) | ✓ |
03 §7 | RLHF 实操预演的 notebook 与三步流水线对上 | 04 §5 | ✓ |
03 §9 | 评测缺席在下一章、次序反着来 | 04 §3 走查(先备评测集的修正) | ✓ |
05 §7 | 查来的资料可以是注入载体 | 06 §6 末(安全是管线属性) | ✓ |
07 §5 | 协议消息的机械部分见书架拆解 | 07 脚注 24(MCP 书架锚) | ✓ |
拆解写于 2026-08-28,依据约 2025 年自版电子书(To Data & Beyond / Youssef Hosni)。
原始书籍文件不入库,本组文档是我们自己的重写;每条引用都可用
node scripts/book-verify.mjs llm-roadmap-from-beginner-to-advanced 回核。