跳到主要内容

阅读笔记 — Prompt Engineering for LLMs (Berryman & Ziegler, 2024)

导航章(版权/目录/索引)跳过。行号指 library/prompt-engineering-for-llms/text/ 下的清洗文本。

Preface (03-fm-preface.txt)​

  • 核心原则一行:「LLMs are just text completion engines that mimic the text they see during their training」(L61-63)
  • 写给 application engineers;prompt engineer = 把问题转成 prompt、把 completion 转回价值的人(L33-38)
  • 要求 empathy:要理解 LLM 怎么「think」(L42-45)
  • Part I foundations / Part II prompt 内容与组装 / Part III 循环、工作流、评估(L50-60)

About the Authors (16-fm-about-the-authors.txt)​

  • John Berryman: Arcturus Labs 创始人;GitHub Copilot 早期工程师(completions + chat);此前是搜索工程师(美国专利局、Eventbrite、GitHub code search);《Relevant Search》(Manning) 合著者(L2-13)
  • Albert Ziegler: GitHub Copilot 创始工程师,设计了它的 prompt engineering 系统;现为 XBOW(AI 网络安全公司)Head of AI(L14-20)
  • 版权页尾注 ©2023 O'Reilly(封面动物 banteng);书卡记 2024 版

Ch1 Introduction (04-ch01, 388 行)​

  • ChatGPT 2022-11 发布,2023-01 达 1 亿月活,史上最快(TikTok 9 个月、Instagram 2.5 年)(L3-6)
  • 作者亲历:Albert 2020 年中摸到 Codex 原型,「cold fusion had finally arrived」;群众外包 GitHub 工程师出编码题,模型试几次能解大多数(L50-69)
  • John 2023 年初:Rust 数字转英文文本,40 分钟配对编程;Copilot 一次插 30 行代码;5,034,012 → "five thirty four thousand twelve million"(错但易修)(L73-127)
  • 历史线:Markov 模型 1948(iPhone 输入建议)→ 2014 seq2seq(encoder/decoder + thought vector 信息瓶颈,L160-179)→ 2015 attention 论文「Neural Machine Translation by Jointly Learning to Align and Translate」(soft search,L199-205)→ 2017 「Attention Is All You Need」transformer,但只能处理定长序列(L206-217)→ 2018 GPT「Improving Language Understanding by Generative Pre-Training」= 砍掉 encoder 的 transformer,预训练+微调单任务(L221-234)→ GPT-2 2019:1.5B 参数 vs GPT 117M,40GB vs 4.5GB,免微调直接打微调过的 SOTA;OpenAI 博客「concerns about malicious applications」(L235-264)→ GPT-3 2020:「Language Models Are Few-Shot Learners」,few-shot 改输入即可 condition 模型 = prompt engineering 的诞生(L265-273)→ ChatGPT 2022-11(GPT-3.5);GPT-4 2023-03 传闻 1.8T 参数、13T tokens(L274-283)
  • 表 1-1(L285-299):GPT-1 2018-06 117M,BookCorpus 4.5GB/7000 本书,1.7e19 FLOP;GPT-2 2019-02 1.5B,WebText 40GB/800 万文档,1.5e21;GPT-3 2020-05 175B,499B tokens,3.1e23;GPT-3.5 2022-03;GPT-4 2023-03 传闻 1.8T/13T tokens,估 2.1e25 FLOP
  • prompt = 期待模型补完的文档;prompt engineering 最简形式 = 打造 prompt 使补全含所需信息(L300-305)
  • 更大的图景:应用是 transformation layer,用户问题空间 ↔ LLM 文档空间;伪文档(pseudodocument)(L306-315)
  • 复杂度层级(L316-368):① 薄应用层(ChatGPT≈ChatML 包裹;早期 Copilot 直接传当前文件)② 增强输入(语音转文字;Copilot 邻接标签页片段显著提升质量;Bing 把搜索结果塞进 prompt,减幻觉)③ 有状态交互(聊天历史,丢早期交换/摘要压缩)④ 工具(邮件/日历 API 例)⑤ agency(AutoGPT,目标稍宽就失败多于成功)
  • 结论:这本书讲的 prompt engineering = 构建整个 LLM 应用(L369-381)

Ch2 Understanding LLMs (05-ch02, 777 行)​

洋葱式:外层 mimic → tokens → 一次一个 → temperature → transformer 内部。

  • LLM = string in/string out;foundation models;微调:Codex = GPT-3 拿 GitHub 代码微调;微调过的模型,prompt 要按微调集 B 来写(L43-55)
  • 训练 = 模仿训练集;不是背下来(overfitting 是缺陷,架构和训练流程都在防);搜索引擎能 100% 背出训练集但那不是目标(L69-87)
  • 关键启发法(box):「从训练集随机抽一份文档,只知道它以 prompt 开头,统计上最可能的续写是什么?那就是该预期的输出」(L94-97)
  • TV 例(L99-139):三选项 y2ior3w / Thursday. / all. → all.;继续后 text-davinci-003 给出换行+「First, try unplugging the TV…」(模仿客服对话);a/b 是作者编的,c 是真输出
  • 人写文 vs LLM:播客 URL 例(L141-187)——人会停下谷歌,模型只能猜;text-curie-001 编出带 Dr. Martin Kemp 的假 URL;模型从不表达怀疑(脚注3:不确定性不与表达不确定相关)
  • 幻觉(L189-231):事实错误但貌似合理、自信地产出;「别瞎编」指令基本无效;解药 = 让它给出可核查的引理/计算/来源链接;「Trust but verify, minus the trust」;truth bias:模型假定 prompt 为真;make-believe prompt(Neanderthals 2031 例,L213-215);对程序化应用危险:模型不会纠正你
  • Tokens(L233-396):通常 3-4 字符;vocabulary;tokenizer 是确定的。三个差异:① 确定性切分——ghost 是 1 token,gohst = g-oh-st 3 tokens,错别字显眼(L276-284)② 不能放慢细看字母——反转字母失败;strawberry 几个 R 难倒最先进的模型(2024 秋);Scattergories 游戏例:Sweden/Switzerland/Somalia 各是单 token;把子词元操作挪到前后处理(L286-318)③ 大小写:strange new worlds=4 tokens,全大写=6;gone=1,GONE=2(L320-352)
  • 数 token(L354-396):时间/成本随 token 数线性;$1 买 5万–100万 output tokens;context window 以千计,几页到几百页 A4;GPT tokenizer 英文 ≈4 字符/token,数字串 ≈2,密钥类 <2,unicode 笑脸 ☺=2 tokens;end-of-text 特殊 token,输出它即截断
  • 自回归(L397-477):一次一个 token,不能停、不能回头、不能改;训练文档里明写的「收回前言」极罕见(人类作者直接改原文);「Oh wait, actually…」是作者故意演示;backtracking 要应用设计者自己补;重复陷阱:模式一旦形成,继续比打破概率高;text-curie-001 列表例(脚注 10 Silmarillion 玩笑,正文故意重复两段演示)
  • Temperature(L479-592):模型算的是所有 token 的概率(logprobs,自然对数,≤0,最可能的一般在 -2 到 0);sampling;公式 p_i = exp(logprob_i/t)/Σ_j exp(logprob_j/t);温度表:0=最可能、近确定性(舍入误差仍能让概率漂几个百分点);0.1–0.4 少量备选(能自动测质量时生成几个挑);0.5–0.7 大量独立解(10+);1=镜像训练集分布(One,Two,→Buck 51%/Three 31%);>1=比训练集还随机,像喝醉,错误率随生成变长恶化——温度只动最后一层,模型把自己的错误当模式继续模仿(L553-567);beam search 向前看几步,准但贵,应用里少用
  • Transformer(L594-762):每个 token 上坐一个 minibrain,结构全同(clones);知道 token+位置;从左邻收信息,向右邻给中间结果;最后一步预测右边那个 token;最右的 minibrain 的预测才算数,其余预测丢弃;cache and repeat;GPT-3 有 96 层,更新模型 >100 层(L648-649)
  • Attention = Q&A 游戏(L654-684):提问(「Who is talking?」—[my])/供答(「The person talking right now is Susan.」—[Susan])/匹配/回答送回提问者;实际用数字向量语言
  • Masking:只有左边能回答;信息只向左→右、下→上(L682-691);三角计算可并行 → 训练高效;读 prompt 比写 completion 快约一个数量级(L707-719)
  • Backward-and-dumbward(L720-741):unidirectional;第 i 层推理链最深 i 步;高层的洞见无法回灌低层——唯一例外是「想出声」:生成的 token 成为下一个 minibrain 第一层的输入 = chain-of-thought 的基础(指到第 8 章)
  • 词数实验(L742-762):问 ChatGPT 上段多少词,答 348(实际 173);把问题放开头再问,答 173——顺序决定成败
  • 能力判据 box(L764-768):「一个把所有相关常识背下来的人类专家,能不能不回头、不修改、不记笔记地一口气续完这段?」
  • 结论四事实:文档补全引擎;模仿训练文档;一次一个 token 不可停不可改;只读一遍从左到右(L770-775)

Ch3 Moving to Chat (06-ch03, 746 行)​

  • 基础模型问题:也模仿互联网黑暗面(lasagna vs meth,L11-16);问鸡肉做法 → 续写一串同类问题(表3-1 vs 3-2,L23-40)
  • RLHF:依据 2022-03 InstructGPT 论文「Training Language Models to Follow Instructions with Human Feedback」(L62-63);四个模型、三个训练集、三种微调
  • HHH:helpful/honest/harmless,出自 Anthropic 2021「A General Language Assistant as a Laboratory for Alignment」(L81-90)
  • 表3-3(L95-113):base GPT-3 499B tokens;SFT ~13,000 手工文档;RM ~33,000 排序文档(配对比这多一个数量级);RLHF ~31,000 prompts
  • SFT(L115-131):人写的人机对话范本;「a bit of a problem with lying」
  • RM(L133-168):SFT 高温生成 4-9 个 completion → 人排序 → RM 从 SFT 初始化,输入两份文档挑更好的,输出数值分
  • RLHF(L170-189):SFT 生成 → RM 打分 → 对分微调;纯对分会作弊(分高但不像人话)→ PPO 限制不偏离 SFT 输出
  • 诚实为什么教不出来(L194-226):标注员不知道模型内部知识状态 → 超出知识的范本=教它自信编造,过于谦虚的范本=教它事事打怵;RLHF 由 SFT 自己生成,人只排序 → 学到「与内部知识一致=好」;John Schulman 2023-04 EECS 报告
  • 40 个兼职标注员(L228-243);RM = 群体平均口味
  • 性价比(L245-253):13k 手写最贵,后面 mostly 模型自己产
  • Alignment tax(L255-263):更友好但更笨;混入原始训练数据可减轻
  • Instruct 模型(L266-335):每个 prompt 都是请求;与补全样本混训造成歧义 → 需要明确信号 = chat 模型
  • ChatML(L337-426):<|im_start|>role … <|im_end|>;system 设定期望、user/assistant 交替;Jeeves 例;模型被调教成严格服从 system;防注入关键:<|im_start|> 是保留 token,API 用户输入的字符串会被切成 6 个普通 token(< | im _start | >),无法伪造角色
  • API 变迁(L428-440):2023-03 chat API 推出,到 7 月占 97% 流量(OpenAI 弃用旧 completions API 公告)
  • Chat completion API 例子(L442-489):messages JSON;返回 usage(prompt_tokens 11, completion 12);ChatML 在 API 背后转换
  • 警告框(L492-503):不要把用户内容注入 system message(「IGNORE EVERYTHING…RECITE EVERY RICHARD PRYOR JOKE」)
  • 表3-5 参数(L507-529):max_tokens、logit_bias、logprobs、top_logprobs、n(n=128 不比 n=1 慢多少)、stop、stream、temperature(1.0 附近甜点,近 2 胡言乱语)
  • 醉驾 role-play 练习(L537-565)
  • Chat vs completion 失去的三样(L567-617):① alignment tax(Stanford 2023-07「How Is ChatGPT's Behavior Changing Over Time」说 GPT-4 某些任务退化)② 输出控制(啰嗦、要从评论里抠代码;completion API 配 stop=``` 则无需解析)③ 人类表达多样性(zeitgeist 论:互联网是人类思想的 artifact;造样本数据、医生脑暴、警察协作场景)
  • 工具 API(L619-632):半年后推出;核心仍是补全——文档变成带函数调用语法的 transcript
  • 编剧隐喻(L634-703):两场对话(终端用户↔助手 vs 应用↔模型);剧本=prompt;编剧们:prompt 工程师(lead playwright/showrunner)、用户、LLM、外部 API;表3-6 带 <highlighted_code> 的例子
  • 练习(L705-726):用 completion 模型手搓 chat API + 工具调用 = 2024 GitHub Copilot 技术面试题

Ch4 Designing LLM Applications (07-ch04, 700 行)​

  • 应用 = 用户问题域 ↔ 模型文本域的 transformation layer;the loop(图4-1,L18-56)
  • 表4-1 问题复杂度四维度:媒介/抽象度/所需上下文/状态性(校对、IT 支持、旅行规划三例,L58-98)
  • prompt 四准则(L100-186):① 像训练集文档 = 小红帽原则(别偏离训练时走熟的路,L116-128)② 含全部相关信息(太多松散内容会 distract)③ 引导模型产出「解题」而非「继续编问题」④ 要能停
  • 侧栏(L129-139):直接问模型它熟悉什么文档类型(厂商保密训练数据是防 jailbreak)
  • GitHub 事故(L188-199):错误配置抑制了 <|im_end|> → 模型停不下来,祝福语的同义词一路排到 token 上限
  • 家庭作业例(表4-2,L201-286):「Leisure, Travel, and Tourism Studies 101 - Homework Assignment」;Problem1/Solution1 立模式(口吻、长度);Problem2 才是真问题(平壤;国务院警告+新闻标题);## Solution 2 触发作答;stop=「\n#」防编造 Problem3;markdown 格式也属小红帽原则;潦草语法会诱发潦草输出
  • Chat vs completion 下四准则哪些自动满足(1/3/4)、哪些仍是你的责任(2 及 transcript 塑造)(L288-302)
  • 模型选择(L325-350):GPT-4 比 gpt-3.5-turbo 贵约 20 倍;延迟;Copilot 选 Codex(小、够聪明、极快);微调用于小众语言
  • 转回用户域(L352-391):解析特定格式;function calling;真实世界动作(买票前要用户确认);媒介转换(语音、UI 事件);Copilot 灰字 Tab 接受 vs chat 的红绿 diff
  • Feedforward pass 四步(图4-2,L393-479):① context retrieval(直接=用户输入;间接=邻近来源,如 Copilot 邻接标签页;boilerplate 最间接)② snippetizing(抽最相关段落;语音转文字;JSON 响应转自然语言,防模型学 JSON 腔)③ scoring/prioritizing(priority=整数分层,先用完高层;score=浮点,层内微调)④ assembly(token 预算会计;塞不下就 elide 代码行或摘要;顺序要对、读起来要像训练集文档);GPT-3.5 当年只有 4096 tokens,现在 10 万+
  • 复杂度四维(L481-612):状态(截断或摘要历史);外部上下文 RAG(embedding+vector store 如 Pinecone,但别瞧不起 Elasticsearch——好管理、好调试;检索光谱:直接拿用户输入查 → 让 LLM 生成查询 → 给助手一个 search 工具自己决定);推理深度(GPT-2 的 TL;DR;chain-of-thought:没有内心独白,思考必须「出声」写在 completion 里,L556-571);工具(ReAct 2022 论文:search/lookup/finish 三工具;只读 vs 写入;「别因为用户说想去希腊就真订票」L604-612)
  • 评估(L614-680):offline(Copilot 方法:几百个 repo,删片段生成补全跑测试;LLM-as-judge 给 checklist;尽量让评估覆盖整个应用,别 mock 掉 context 收集);online(telemetry;点赞点踩有偏;隐式指标:接受率、接受后有没有回头改;要 measure something that matters——Copilot 选接受率因为与生产力提升最相关;日程助手看成功创建的日历事件+事后修改率)
  • 末行 PART II Core Techniques

Ch5 Prompt Content (08-ch05, 1024 行)​

  • 书推 app 引子:Moby Dick+Huckleberry Finn → To Kill a Mockingbird;加人口统计/偏好/经历 → 更准(L3-29)
  • 静态(写死,澄清任务)vs 动态(请求时取来,提供这一次的情境);分界不总是干净,取决于实现(自助书例,L60-74)
  • 澄清问题(L81-151):程序化场景里误解=彻底失败;澄清带来 consistency → 可优化、用户信任;显式指令(dos/don'ts;表5-1 Bing Sydney 提示词,Marvin von Hagen 提取,未证实);经验法则 box:说正不说反、给理由、避免绝对化;RLHF 模型用 system message 下显式指令
  • Few-shot(L153-373):例子=隐式规则(图5-3 书评打分:数字、格式、1-5、分布多 4/5);implicit is often better than explicit;persona 一致性
    • 缺点1:随上下文 scale 差(PersonA-D JSON 例;注意力游戏里相似段落喊相似答案;缩短例子会带偏;例外:只澄清输出格式)(L210-263)
    • 缺点2:锚定(图5-4 名字年代:20 世纪初 vs 21 世纪初;text-davinci-003);例子会运输分布(图5-5 均匀 1-5 但实际 5 最常见);用真实样本的代表性抽样;边界 case 要包(L265-319)
    • 缺点3:假模式(升序/降序;3 个数升序概率 17%;10 个数全有序 < 被雷劈死 1/1.8M vs 1/100k);「happy path 在前」让模型悲观(图5-7);shuffle+评估;DSPy 优化(L321-373)
  • 动态上下文三考虑(L375-449):latency(表5-2:fire-and-forget=低,on-demand=中,打字补全=高——每浪费 1ms 用户可能已做下一个动作);preparability(投机预取);comparability(打分;更有用/依赖/作废三问);静态项也要打分,通常最高
  • 找上下文(L451-514):mind map(图5-8);按 proximity 五级(指尖/已存/可记录/公开 API/用户授权);按 stability 三级(恒定/慢变/瞬态)
  • RAG(L516-886):2020-05 论文;Chekhov's gun fallacy——模型觉得每个上下文都必须有用(L546-552);The Beach 例
    • 词法检索:Jaccard(去停用词+stemming+交集/并集);Copilot 用它搜打开的标签页;TF-IDF/BM25 加权罕见词但要预算统计(L573-620)
    • 神经检索:embedding model ≠ LLM,transformer 架构但输出向量;contrastive pre-training;小且便宜几个数量级;离线索引三步(切、嵌、存);查询时嵌查询取向近邻(L621-652)
    • 切块:不超 embedding 窗口(2024 年 OpenAI 8191 tokens);一块一个主意;moving window(256 词窗/128 步,重叠防切断思想);自然边界;代码块补上类定义(L653-689)
    • 向量库:~1000 维;FAISS;Pinecone(HNSW 博文)(L713-723)
    • 最小 RAG 代码(L725-855):text-embedding-3-small + IndexFlatL2 + k=2;11 条书评;检索到「I hate stories about backpacking…」和「Another bland romantic utopia…」;prompt「Reply with no explanation, just a number」→ 评分 2;gpt-4o-mini, temp 0.7
    • 词法 vs 神经:词法可调试(token 不匹配一眼看出)、可调(field boosting)、Elasticsearch/Algolia;神经按意思匹配、跨语言、跨模态(L857-886)
  • 摘要(L888-1000):zoom out;gpt-3.5-turbo-instruct「Tersely summarize all of the above」成功;整章草稿 → 4097 token 报错(8491 请求);分层摘要:The Beach 章→书;圣经 1189 章 ×50 词仍超 → 递归(66 卷);代码库按目录;成本:摘要 <1/10 原文则总成本只看原文 token 数;rumor problem(传话游戏),每层多一次误解机会,别吝啬摘要长度;按自然边界切,别一边倒;general vs specific 摘要:specific 带最终任务问(表5-3 圣诞选书笔记 → 「Does not like backpacking or backpackers」),问题一变就要全部重摘;general 可复用

Ch6 Assembling the Prompt (09-ch06, 722 行)​

  • 理想 prompt 解剖(图6-1):introduction → 上下文队伍 → refocus → transition;项目从 3 个长元素到几百个一行元素都有;换行规则(L16-33)
  • introduction:定文档类型;模型每个 token 的思考预算固定,早聚焦(L34-44)
  • 两个效应(L45-62):in-context learning(越靠末尾影响越大)+ lost middle → Valley of Meh(前中段凹陷);所有模型都有,人也一样;无完美解:关键内容放谷外+保持短
  • refocus + sandwich(表6-1 Fiona 荐书 ChatML 例);transition:chat 模型靠问号(RLHF 调教),completion 要替它写答案开头(图6-2 三种 transition,text-davinci-002;引号留在 prompt 里);refocus 和 transition 可合并(L63-128)
  • 文档类型(L130-432):
    • 建议对话:自然/多轮/工具集成;inception 技巧——替模型写回答开头(盗梦空间 2010);表6-2 四种格式(freeform/script/markerless/structured,天气丈夫例);替 assistant 角色写话 = 另一种 inception
    • 分析报告:学生训练出了海量报告 = 训练材料;Scope section 划界(比对话更受尊重);客观分析减轻社交模拟负担;转决策要明确 transition;适合 chain-of-thought;推荐 Markdown(通用、简单、标题层级、代码块、可渲染、超链接便于核源);目录两用法:# Ideas/# Analysis 当 scratchpad;# Further Reading 当 stop sequence;「LLMs aren't oracles…不见得比会计部的 Jerry 高明」(L296-299)
    • 结构化文档:Anthropic Artifacts 提示词(@elder_plinius 提取):artifacts_info + examples(user_query/assistant_response);antThinking 被解析隐藏,antArtifact 提取到侧栏(带 title/language 属性);XML(5 个转义、HTML 注释可当编辑提示)vs YAML(缩进敏感,fieldname: |2 保留缩进免转义)vs JSON(转义重,但 OpenAI 为 tools API 特训了 JSON)
  • 片段格式化(L433-531):weather JSON 三文档形态;Copilot 的代码注释 aside(// <consider this snippet from ../skill.go>);四目标:modularity/naturalness/brevity/inertness
  • inertness(L492-516):token 数不可加(表6-4:「be」+「am」→「beam」1+1=1;「cat」+「tail」→「cattail」1+1=3);用空白隔开;GPT tokenizer 有以空格开头无空格结尾的 token → 元素以空格开头更安全;换行合并 → 片段别以换行开头
  • few-shot 两种写法:显式声明为例子 vs 编成「已解决过的任务」(后者更顺滑,模型以为自己成功过)(L518-528)
  • 弹性片段(L530-574):The Beach 场景分析;全章→逐段省略→两段裸引;「放不下的问题」改问「放得下的最大版本是哪个」;或多版本声明互斥
  • 元素三关系(L575-639):position(原文顺序/时间序;数组/链表/索引);importance(分数 vs 优先级层;指令最高层、解释次之、上下文第三;position≠importance——引言比中段重要;按 token 长度调整;Ch10 测);dependency(requirements:「Richard 是主角」先于「他在英国长大」;incompatibilities:摘要版 vs 详细版互斥)
  • 组装(L641-710):优化问题(0-1 knapsack 类,无现成工具);约束=依赖结构+长度(context window 减响应所需;大窗口用软预算);minimal prompt crafter(只留末尾,LLM 擅长文档后缀);additive greedy(空开始逐加最高值;先按依赖排序;不适合循环依赖多);subtractive greedy(全开始逐删;弹性片段更好处理;高值依赖低值会次优);都是原型;Copilot 代码片段要特定 postfix,用自定义函数管行间依赖

Ch7 Taming the Model (10-ch07, 576 行)​

  • completion 解剖(图7-1):preamble 三类(L20-78):structural boilerplate(确定性部分放 prompt 更省);reasoning(2023 年底 ChatGPT 开始复述问题;CoT 长 preamble 是美德,图7-2 长前奏答对短前奏答错);fluff(RLHF 啰嗦;让主答案先行、杂项后置便于解析,图7-3/7-4)
  • 可识别的头尾(表7-1,L80-111):markdown 头=章节标题尾=下一标题(可子串);YAML 尾=更低缩进(不可);JSON 尾=未转义引号(不可);code 可;编号列表 1.→2. 可;花括号语言靠配平(不可);Python 靠缩进(不可)
  • postscript 与停(L113-158):stop sequences(服务端停,最省)vs streaming+取消(网络延迟,省得少);\n# 要带换行(否则误停注释/电话号);Python 类用 \nclass/\ndef/\nif(方法体是 \n\tdef 不会误停)
  • logprobs(L160-331):logprob≤0,exp 还原;-0.405/-1.099 → 66%/33%;有些厂商关闭 logprobs 防逆向
    • 质量信号(L187-226):Albert 的邻居天体物理学家(13 分钟)vs 十岁女儿(也许 30?)——logprobs=模型的语气;求和随长度失真(同一意思多种说法);平均 logprobs;Albert 在 Copilot 发现「前几个 token 的概率(exp)平均」预测总体质量;五种用法(有信心才改/警告/加重试/换大模型/别当 Clippy);n>1 要 temp>0;经验法则 temp=sqrt(n)/10
    • 分类(L227-299): recognizable start 先「1.」;图7-5 陷阱:North America/Northeast Asia 共享首 token North,概率合并 55%×76%=42% < Europe 44% 但仍输出 Northeast Asia(gpt-3.5-turbo-instruct 真实概率)——选项首 token 要唯一;calibration:阈值不一致(暴躁用户邮件 app),给 logprob 加常数 a_tok(如 Yes+0.3),可用 logit_bias 直接下发
    • prompt 里的关键点(L301-331):echo=true 拿 prompt 的 logprobs;typo「complution」logprob 低于 -13;负双位数=异常;无固定阈值;文首 logprob 普遍低于文末;单测注意 logprobs 浮点漂 ±1
  • 选模型(L332-444):别焊死(LiteLLM);按序:intelligence/speed/cost/ease of use/functionality/special requirements;cheap+smart 不可兼得;2024 年格局:Anthropic Claude 3.5 Sonnet 登顶多个 benchmark、Mistral 开放权重、Cohere RAG、Google、Meta 开放;Artificial Analysis 网站;开源自托管(LLaMA/Mistral,Hugging Face)只在体量够大时值;选「能可靠完成任务的最小模型」;原型可用略大模型—— flagship 发布后旧款会降价
  • 微调(L445-555):训练文档=成功交互(自写/外包/合成/从成功指标收集);loss masking 只对答案部分算损失;full fine-tuning/continued pre-training:全部参数、河床比喻、周/月、数万文档、能教新领域;LoRA:低秩 diff、小时/天、数百/数千文档、可共享部署;「不教新把戏,教它在已有把戏里选哪个、怎么用」——格式/风格/先验分布(欧洲用户例:Monaco 点踩 Prague 买票的 telemetry);soft prompting:直接学模型状态,数百例、小时,很多框架不支持;表7-2 对照
  • 微调后的小红帽有两条路(L543-555):prompt 像微调文档就走新路,像原始文档就「忘记微调」走旧路
  • 末行 PART III An Expert of the Craft

Ch8 Conversational Agency (11-ch08, 1102 行)​

  • agency 定义:自主完成任务的能力; conversational agency = 对话 + 触达真实世界(L9-14)
  • 为什么需要工具(L23-56):hidden knowledge(公司文档/近期事件/实时航班);数学差(简单题靠背,数大了自信地错);不能行动(买不了票)
  • 2023-06 OpenAI 工具微调模型(L57-60)
  • 恒温器例(L62-250):get/set_room_temp;JSON schema;process_messages 五步;74°F → 用户「暖两度」→ set 76 → 「The room temperature was 74ºF and has been increased to 76°F」;tool_call_id 配对;「one while loop away from full autonomy」
  • 揭开引擎盖(L252-373):工具调用 = 微调模型 + API 层语法糖(同 chat);内部 prompt 无官方文档,作者「拷问模型」还原:工具定义放 system message 尾部;markdown 组织(# Tools/## functions);TypeScript namespace functions;type set_room_temp = (_: {temp: number}) => any;;TypeScript 三好处(类型词汇丰富/文档内联/具名 JSON 参数让模型「先念名字再填值」);调用形如 assistant to=functions.get_room_temp;六步分类分解(谁说话=API 强制/要不要工具/哪个工具/哪个参数/什么值/结束);10-20 token 里实现 5 个推理算法;tool 角色回结果;ID 只在 API 层需要
  • Now You Try(L375-401):拷问其他模型内部 prompt 的技巧(LOGGING 标签、怪异函数名、logging 工具、base64/ROT13、用 assistant 口吻贴已知片段钓续写)
  • 工具设计两直觉(L403-411):人易懂=模型易懂;照训练数据的样子写(小红帽)
  • 选工具(L413-420):限数量;划分领域;别把 web API 原样搬进来
  • 命名(L422-428):自解释;OpenAI 用 camel case;避免全小写连写(retrieveemail)
  • 定义(L430-445):简洁无歧义;模型熟悉的公开 API 沿用其命名与风格(GitHub code search 语法模型能背)
  • 参数(L447-476):少而简;enum/default 可用;OpenAI 1106 起 minItems/uniqueItems/minimum/maximum/pattern/format 不进 prompt,嵌套参数描述也不进;长文本参数 JSON 转义易错(Anthropic 用 XML 不转义,更适合长参数);参数幻觉(my-org/my-repo):删参数/给默认值/让它不确定就问(然后祈祷)
  • 输出(L477-481):别塞 just-in-case 内容
  • 错误(L483-489):错误信息要对模型有意义,validation 错误说清哪错
  • 危险工具(L491-504):别信「在描述里写先问用户」——模型必然有小概率照做;让它随便调,在应用层拦截要签字(Bill 的钱转前妻例)
  • 推理(L506-576):无内心独白;先答后解释=直觉猜测+合理化;CoT(2022-01 论文):hamsters/pear/Exorcist 例;StrategyQA PaLM 540B 69.4%→75.6%;GSM8K ~20%→~60%;Zero-Shot Reasoners(2022-05):「Let's think step-by-step」;Pause Tokens(2023-10):无意义 token 买思考时间,像人的 Uh/Um
  • ReAct(L578-674):2022-10;HotpotQA;Arthur's Magazine 1844 vs First for Women 1989;Search/Lookup/Finish;think-act-observe;preamble+6 例;不微调时比 standard/CoT 差;3000 例微调后 ReAct-8B > standard-62B、ReAct-62B > 540B;Act-only 在检索类任务还行;ALFWorld 决策任务 ReAct 71% vs Act 45%;思考五功能(拆目标/常识/提取/跟踪/处理异常)
  • 后续(L677-720):plan-and-solve(先整体理解定计划);Reflexion(2023,事后复盘,单测失败消息回灌;「对不起把钱转你前夫了」不可撤销);branch-solve-merge(N 个独立 solver+合并 agent)
  • 任务型交互的上下文(L722-890):preamble(system;工具;few-shot)/prior conversation/artifacts(消息上挂的数据;航班例)/current exchange;表8-1 旅行助手(Dulles→Seattle;artifact YAML;JL5441;$350 经 ORD 7h40m);组织选项:按对话阶段丢工具;artifacts 全给 vs 让模型挑;呈现(XML 标签/markdown;格式貌似无所谓;保留函数调用=白捡的工具示例);内容量(details('section 5') 渐进展开——没试过;或大 artifact 上做 RAG);历史多远(旧会话丢;小模型判相关性);evaluate, evaluate, evaluate
  • 造 agent(L892-1035):run_conversation 双层 while(例8-2);图8-2 时序图;表8-2:「Golly gee it's hot」→ 查温 64°F 其实挺凉;「LOTS cooler」→ 设 50;「调回去」→ 靠 prior conversation 记得 64;常识免费
  • UX(L1037-1085):spinner;工具 pill;tool calls 可展开(Dave/HAL);改参数重提交,从该点重新生成;危险操作授权 UI(图8-4);artifacts 可见可解散

Ch9 LLM Workflows (12-ch09, 769 行)​

  • 强度 vs 通用性权衡(图9-1):AGI 定义;chat agent 通用但弱,workflow 窄而强(L3-46);本章不绑框架(LangChain/Semantic Kernel/AutoGen/DSPy 只点名)
  • Shopify 插件推广例(L47-123):五步(找店面→提取详情→想插件→写邮件→发邮件);真事:2023 初 Umar 干过,几千封营销邮件;最佳创意 Sock-cess Stories(袜子店);对话 agent 三次尝试全败:① 无工具「You can do anything—you just have to believe」→ 只会生成假想计划 ② 给 search_web/browse_site/send_email → naive 搜索「best Shopify storefronts 2024」、邮件带 [your_name] ③ 窄 system+专用工具 → prompt 又大又杂易分心;system message 只是「strong suggestion and nothing more」;没有工作单元概念,要排队
  • 基础 workflow 五步(L125-152):定目标→定任务→实现任务→组装→优化;模块化
  • 任务设计(L154-207):输入输出 schema(表9-1 插件:name/concept/rationale/store_id uuid 550e8400-e29b-41d4-a716-446655440000;表9-2 邮件:subject_line/body);how 不必像接口那样硬,但要够确定
  • 实现任务(L209-385):
    • 模板法(LangChain 式;表9-3 JivePlug-ins「Research and Proposal Document」;前缀 Dear {owner_name} 后缀 We hope to hear from you soon → completion 恰好=邮件正文)
    • 工具法:saveRestaurantDataToDatabase——数据库不存在,只为骗模型交出结构化数据;tool_choice 强制调用;OpenAI structured outputs;两类失败:内容太难(人做得出吗?)或结构太复杂(拆小)
    • 加 sophistication:CoT;tool_choice="none" 先想后做(工具 spec 仍要带上);Claude Opus 默认 CoT,Sonnet/Haiku 需提示;Reflexion 自纠(产出→分析→带 requirements+上次尝试+分析 的新 prompt 重来;算力贵);LLM-as-judge;AutoGen expert+user proxy
    • 任务多样性:能不 LLM 就不 LLM(爬虫;BERT 分类器);危险动作人审;不同任务不同模型(便宜自托管/贵的大模型/微调)
    • 评估从任务级开始
  • 组装拓扑(L415-494):状态机/发布订阅/编排器——同一件事,关键是互连;pipeline(图9-5;详情到不了邮件任务,硬传=耦合);DAG(图9-6;Airflow/Luigi;上游全成才能跑);cyclic(图9-7 质检回路;三问题:失败信息要与原内容重聚、每个任务都要预期失败信息、死循环→记次数;递归藏在任务内部);batch vs streaming
  • 完整例(L496-602):mock emit HTML;summarize storefront 六问(含「有没有值得夸的」——准备捧 ego);插件概念两步(脑暴+详报,CoT 与产出分离);邮件三步(CoT 策略→主题→正文);mock send;Fly By Jing(川菜)产出全文,落款「Albert Berryman」(两作者名字合体梗);优化方向:创意同质化(一堆 virtual try-on/impact tracker)、可行性子流程、任务级/流程级 Reflexion、收集 I/O 样本做 offline harness、DSPy/TextGrad 自动优化、线上 I/O 采样与 A/B
  • 高级(L604-739):LLM 驾驶 workflow(任务固定选路由;agent of agents,finish tool;现场造任务 agent(写 system+挑工具);work list 持续重排优先级);stateful task agents(每个文件一个 agent;依赖图通知;防循环依赖;用户直接和负责某 work item 的 agent 聊);角色与委派:AutoGen(Assistant/UserProxy;group chat manager);CrewAI(role/goal/backstory/tools;sequential/hierarchical/consensual——写作时 consensual 还在规划中)
  • Now You Try:自己搓 CodeAssistant+UserProxy 数学家教;小心「Goodbye! Thanks again.」无限互道再见
  • 结论:simpler is almost always better;LLM 关在任务里,外面用确定性图

Ch10 Evaluating LLM Applications (13-ch10, 709 行)​

  • Copilot 的第一段代码是评估框架(L3-13);指导之后全部开发
  • offline(样例,先于上线)vs online(真人,更险但更真)(L14-29)
  • 测什么三层:模型/单次交互/整体架构;unit vs regression;记 latency+token;换模型→regression、调 prompt→unit、改架构→regression;先建覆盖全 loop 的(L31-78)
  • example suite(L84-140):5-20 个例子+脚本产 prompt/completion 文件+肉眼 diff;PR 摘要项目(几十个 PR;加 detailed;限一两段;只露 functionality 段、藏 context 段——呼应 Ch7 fluff 技巧);升级到 harness 需要几百上千例+自动判分
  • 复杂交互评估(L148-167):canned conversations(写死剧本,逐轮测,模型答错也用罐头答案续)vs 模型扮演用户(improv profile;模型的误解/偏见会被烤进结果)
  • 找样本三来源(L169-264):已有(表单摘要字段的数万条人写记录);Copilot 法:删函数体问「接着写啥」(分布偏:整函数比典型建议长;import 已加好;但样本近乎无限);app 使用数据(起步晚、易过时、隐私门槛、只有输入没有金标准输出——用户行为受建议影响);合成(先解后题;按方面组合 n×m×l×k;一次要多个样本比多次高温重抽多样;危险:套路化/流行误解/出题模型与受测模型同一个 → 偏袒)
  • 评判解法三法(L265-373):gold standard(yes/no 直接数;自由文本 exact match 随长度失效;partial match 选关键切面:代码去注释空白/目的地国家/智能家居「I'm chilly」只查「动了暖气」不查 77°F;切面两准则:分得清致命与良性偏差、不过粗不过细;工具类应用查「调对工具+语法对」;评估第一个真可能错的决定);functional testing(可解析/函数存在/类型对;Copilot 跑仓内单测;linter 弱版);LLM assessment(不是学生自评——如果做对:别让模型以为在评自己的活;评用户稍差,评自己差很多——论坛数据+RLHF 矫枉过正,两头拉扯)
  • SOMA(L410-533):Specific(验证比生成易——limerick;「Is this right?」太模糊)+ Ordinal(1-5 带每级描述;心理测量学:5 是好默认;避免模型随心所欲换标准)+ Multi-Aspect(智能家居三面:动作实现/解决问题/克制与果断;intent vs execution;RTC=relevance-truth-completeness,Copilot chat 打分体系,引 Lizzie Redford「Machine Psychometrics」;评估指令要在被评样本之前——模型不能回头;Goldilocks 问题拆成「够不够」和「多不多」);SOMA 本身要拿人校准:多个人评,Kendall's Tau 测人际分歧,加入模型(temp 0)后分歧不显著增大才行
  • 两张清单:来源三选一(records 够多?/app 数据够快?/合成愿做?)测试三选一(match 现实?/切面可自动?/好坏人分得清?)(L544-562)
  • online(L564-697):lab 三优点(安全/可扩展/够早);「Life is live」;A/B:先 offline 筛掉臭棋;指标+guardrail;Optimizely/VWO/AB Tasty;客户端 rollout 慢;脚注:不能拿更新快的用户比更新慢的;五类指标:direct feedback(点踩比点赞常见且可靠;点赞只对惊艳才给 → OpenAI 撤了单条点赞;对比式「哪个更好」最清但最打扰;延迟反馈更值钱;反馈可当微调数据)/functional correctness(编译过/票确认/邮件在发件箱)/acceptance(点击率;Copilot 发现接受率与生产力提升相关最强)/impact(邮件多大比例是助手写的/最终买票没)/incidental(latency;会话时长歧义——秒决好评 vs 激怒退出;多记比少记好)

Ch11 Looking Ahead (14-ch11, 235 行)​

  • 对数史观;Kurzweil 梗(L1-17)
  • 多模态(L19-58):GPT-4 看图;卷积网把图像特征变成与文本同维的 embedding,加位置信息,拼接;视频=抽帧(OpenAI cookbook);视障辅助;训练数据荒——整个公开互联网可能不够下一代;图像带空间推理/社交线索/物理常识;prompt 启示:只放相关图、用文字交代图的角色、用常见格式别造新图式
  • UX/UI(L61-127):人说话 20 万年 vs 点按钮 40 年;artifacts = 作者所谓「stateful objects of discourse」;结对编程的文件;ChatGPT 把同一函数重写 N 遍而不是改同一个对象;Anthropic Artifacts(成书收尾时推出):左侧 transcript 右侧 artifact;SVG/HTML/mermaid/code;海盗例;作者三点批评:改动只是 UI 层(整体重写,长文档不行)、一次一个难指代、用户不能直接改;对话式 UI 让用户留在回路里
  • 智能(L129-177):benchmark 饱和(图11-2)——真变聪明+训练污染(非故意, benchmark 文本被抄遍互联网);Open LLM Leaderboard 2;ARC-AGI 不可背(图形模式,算法生成);RLHF 进步 → 模型更会展示 CoT;knowledge distillation:小模型学大模型的完整概率分布,便宜快、精度略降;quantization:32 位→8 位参数;明天更便宜更快更长上下文更聪明,但永远不会心灵感应——prompt 里没有的信息模型也没有
  • 全书两条教训(L179-218):① LLM 只是模仿训练文本的续写引擎 ② 要共情 LLM 怎么想;big dumb mechanical friend;五特质:易分心/得读得懂 prompt(你读不懂它也读不懂)/需要被引导/不是神仙/没有内心独白(CoT);未来:一次性 app、非确定性体验;Pratchett 结语「The whole world is tap-dancing on quicksand…the prize goes to the best dancer」(The Fifth Elephant, 1999)