跳到主要内容

架构与用户反馈:把组件拼成产品

这一章讲三件事: AI 应用的架构怎么长出来——从「查询进、响应出」的两根线开始,五步逐步加组件,每步都在解决上一步暴露的问题; 上线之后怎么看着它——监控三指标、把发生的一切记成流水账(行话叫日志)、三种「你以为没变其实变了」的漂移; 用户反馈怎么收、怎么防坑——对话里的每个动作都是信号,但四类偏差和恶性反馈循环会把你带沟里。 它在全书的位置:前面九章把每块砖都烧好了,这一章砌墙——并且回答第 01 章埋的问题:为什么对话式界面「让反馈更容易给,却更难提取」。

1. 顶层全景:架构是长出来的,不是画出来的​

书里的做法是模拟一个团队的演进史:从最简架构(应用把查询发给模型,模型把响应还给用户)开始,每暴露一个问题就加一个组件1。常见的添加顺序2:

  ① 上下文增强(接数据源和工具)      ← 模型不知道的事太多
  ② 防护措施(输入 + 输出)           ← 会泄密、会出错
  ③ 路由器 + 模型网关                ← 模型多了管不过来
  ④ 缓存                            ← 重复查询在浪费钱
  ⑤ 智能体模式(循环/写入动作)       ← 单趟流程不够用
  最后补上:监控与可观测性、流水线编排
  
  图说:书里强调顺序因项目而异,但「每个组件解决一个问题」的思路通用。

2. 前三步:上下文、防护、路由与网关​

2.1 上下文增强​

第一扩展点永远是给模型喂上下文(RAG、工具、文件上传——第 08 章的全部家当)。书里把它比作基础模型时代的特征工程(传统 ML 里「给模型造好输入特征」的工序)3。一个工程提示:各家提供商对上下文构建的支持差异很大——能传的文档类型、数量、检索配置、是否支持并行函数调用都不同,选型时逐项核对4。

2.2 防护:输入拦泄露,输出拦故障​

防护分两路5。输入防护防两类事:恶意提示词(第 07 章讲过)和向外部 API 泄露隐私——后者是调用第三方 API 特有的风险,因为数据出了组织的大门;泄露路径有三条:员工把机密复制进提示词、开发人员把内部政策写进系统提示词、工具从内部数据库检索出隐私放进上下文(三星员工把专有信息输入 ChatGPT 的案例就是第一条)6。

主走查:书里的掩码—去掩码流程,一步步走7:

  用户输入:「我的手机号 138-xxxx-5678,帮我查订单」
    ① 检测器识别出敏感数据(个人信息/人脸特征/公司关键词等类别)
    ② 掩码:把电话号码替换成占位符 [PHONE NUMBER],请求放行
    ③ 模型在占位符上生成响应,真实号码从未离开本组织
    ④ 响应里若含 [PHONE NUMBER],查 PII 的映射——占位符对回原值的对照表——完成去掩码,再还给用户
    
  图说:可逆映射表是这套流程的枢纽——它自己必须存在组织内部。

输出防护做两件事:捕获故障、定义处理策略8。故障清单分两族:质量类(格式坏了——要 JSON 给出无效 JSON;事实不一致的幻觉;整体质量差)和安全类(毒性、泄露隐私、触发远程代码执行、品牌风险)9。处理策略按故障选型10:

  • 重试:模型是概率性的,同一个查询重试可能就对了;但请求失败后才重试,用户感知延迟翻倍。改进是并行调用——一开始就发两个相同请求,择优取用,拿冗余成本换延迟;
  • 人工介入:检测到愤怒情绪、对话轮次过多、命中特定关键词时转人工。

两个诚实的注脚:一,防护有误拒率——拦得太狠把正常请求也拦了,安全性不是唯一指标11;二,流式补全模式下输出防护几乎失效,token 实时推给用户,不安全内容可能在拦截前已经到达12。实施深度还取决于自托管还是用第三方 API(提供商默认自带一批防护)13;现成工具:Meta Purple Llama、NVIDIA NeMo Guardrails、Azure PyRIT、Perspective API 等14。

2.3 路由器与模型网关​

模型一多就需要管理。路由器的核心是一个意图分类器:识别用户意图,把查询派给不同的处理单元——重置密码 → FAQ 页面,更正账单 → 人工客服,技术故障 → 专用机器人15。它还能防跑偏:「你会给谁投票?」这类超范围问题,直接用预设话术礼貌拒绝,省一次 API 调用;多义词(「Freezing」是账户冻结还是天气?)触发澄清反问16。对智能体,路由器升级成下一步动作预测器(调代码解释器还是搜索 API);实现上常用小模型(GPT-2、BERT、Llama-7B 改造)——要快、要便宜,否则路由本身就是延迟17。常见模式是「路由—检索—生成—评分」四段流水线18。

模型网关是所有模型流量的中间层,五个职责19:统一 API(某家 API 变了只改网关)、访问控制(API Key 不再人手一份,可按用户/应用细粒度授权)、成本监控与限额、回退策略(主 API 故障自动切备用)、外加负载均衡与日志的天然挂载点。现成产品:Portkey、MLflow AI Gateway、Kong、Cloudflare 等20。

2.4 缓存:精确与语义​

系统级缓存两种机制21:

  • 精确缓存:请求与缓存项完全一致才命中。适配内存或 PostgreSQL/Redis;淘汰策略用 LRU(最久未用)/LFU(最少使用)/FIFO。用户专属查询(「我的订单呢」)和时效性查询(「天气如何」)不该缓存;要小心缓存泄露:用户 X 的「退货政策是什么」若带着会员等级生成了个性化答案,被当通用问题缓存,用户 Y 就会看到 X 的信息22;
  • 语义缓存:语义相似即命中(「越南的首都是哪里」和「越南的首都是哪个城市」共享答案)。实现 = 嵌入 + 向量搜索 + 相似度阈值。书里给它的评级很谨慎:嵌入质量、向量搜索、阈值都要靠谱才行,错配就是错答——引入前先评估23。

2.5 智能体模式​

最后一步加回第 09 章的智能体模式:响应生成后发现任务没完成,把响应反馈回系统再检索一轮(循环);以及带权限红线的写入动作(发邮件、下单、转账)24。至此架构已相当复杂——组件越多故障点越多,该装「眼睛」了。

3. 监控与可观测性:上线才是开始​

3.1 三个管理指标与一套口径​

可观测性该是产品设计的核心组成部分,不是事后补丁25。衡量可观测性质量的三个指标来自 DevOps 社区26:MTTD(平均检测时间,出问题到发现)、MTTR(平均响应时间,发现到解决)、CFR(变更失败率,需要修复或回滚的部署占比——不清楚自己系统的 CFR,说明平台可观测性要重做)。评估与监控要闭环:两边指标口径一致,监控发现的问题回流评估流水线27。

指标怎么选?书里的总原则:先列故障模式,再围绕故障设计指标——怕幻觉就设计「输出能否从上下文推导」的检测,怕超预算就追踪每请求 token 数与缓存命中率28。格式错误最好追踪;开放生成的事实一致性和质量指标可由 AI 裁判自动算29;用户行为也是指标——中途停止生成的频率、对话轮次、输入输出 token 分布30。最后把它们与业务核心成绩对相关(书里叫北极星指标),常见的三类:

  • 用户规模:每天来用的人数,行话叫日活;

  • 参与深度:一次使用能持续多久(会话(一次完整使用)的时长);

  • 生意结果:多少用户付了钱(订阅(付费)量)。

与业务无关的技术指标,可能不值得投入31。

3.2 日志记一切,追踪拼时间线​

指标是汇总(告诉你 5 分钟前出事了),日志是只增不减的流水账(告诉你出了什么事);因为无法预知哪条日志会被查,原则是记录所有内容:配置(模型端点、采样设置)、提示词模板(发往模型的指令的固定底版)、用户查询、发给模型的最终提示词、中间输出、工具调用、起止时间——并打上标签和 ID32。追踪则把一次请求经过所有组件的路径重建成时间线,查询失败时能定位卡在哪一步:处理错、检索偏、还是模型答错33。全量日志靠工具,但每天人工抽查部分生产数据不可省——有研究发现,开发者接触数据变多后,自己对「好坏」的判断标准都会变,这会反过来驱动提示词和评估流水线的更新34。

3.3 三种漂移:你以为没变的东西在变​

AI 应用里「变」是常态,书里点了三种要专门防的35:

漂移例子
系统提示词被改同事「顺手」修了个拼写错误,模板就变了——加简单逻辑即可监测
用户行为漂移用户学会写更简洁的指令,响应长度随时间变短;极端案例:有人学会了逼迫自动驾驶汽车让行
底层模型偷换API 版本号没动,模型已更新;实测同一 API 不同版本基准分差异显著,有一例切换版本性能约掉 10%

3.4 编排:先裸搭,再上工具​

编排器定义组件如何协同(组件定义 + 链式组合),典型六步流水线:处理查询 → 检索 → 拼提示词 → 生成 → 评估 → 达标返回/不达标转人工36。能并行就并行(路由和 PII 移除互不依赖)37。书里的建议有点反直觉:项目初期别用编排工具(LangChain、LlamaIndex、Haystack 等),先自己搭——外部工具会掩盖系统运行的关键细节,理解和调试都变难;后期复杂度上来了再引入,按集成性、对复杂流水线的支持、易用性性能三条评估,特别警惕隐性 API 调用38。

4. 用户反馈:对话里的每个动作都是信号​

4.1 为什么反馈在这一章:它是数据​

传统软件里反馈只是产品改进的参考;AI 应用里它是训练数据的来源——第 12 章的数据飞轮,入口就是一套设计良好的反馈系统39。当然,用户反馈即用户数据,隐私义务照旧40。

反馈两族41:显式反馈(点赞点踩、星级)易理解但稀少,还带响应偏差——不满的用户更爱发声,数据显得比实际更负面;隐式反馈(从行为推断)丰富但噪声大。对话式界面的特殊之处:用户用自然语言纠正 AI 的过程本身就是反馈42。

4.2 主走查:一句「帮我预订靠近画廊的那一家」里有多少信号​

书里的例子:AI 助手为悉尼之行推荐了三家酒店——岩石区精品酒店(约 400 美元/晚)、萨里山时尚酒店(约 200 美元/晚,周边有画廊)、邦迪海滩酒店(约 300 美元/晚)43。用户的回应各自携带不同的信号44:

  「好的,帮我预订靠近画廊的那一家」
     → 选中了萨里山店 → 偏好信号:用户对艺术感兴趣,价格不敏感
  
  「没有 200 美元以下的吗?」
     → 双重信号:用户价格敏感 + AI 此前没理解到这一点
  
  图说:对话反馈既能评估(监控应用表现)、又能开发(训练未来模型)、
        还能个性化(为这位用户定制)[^45]。

可系统提取的信号清单45:

  • 提前终止:中途停止生成、退出应用、命令停下——对话多半不顺;
  • 错误修正:下一条消息以「不」「我的意思是」开头;重新表述请求;指名道姓的纠正(「Bill 是嫌疑人,不是受害者」);「你确定吗」「再检查一下」「给出信息来源」——不一定是错,但说明细节不合意或不被信任;
  • 直接编辑(最强信号):用户改了模型生成的代码,原始版就是落败响应、编辑版就是胜出响应——每次编辑都是一个现成的偏好数据点,直接喂给偏好微调46;
  • 抱怨与情绪:从「太冗长」到一声「唉」;呼叫中心甚至全程追踪用户音量——声音越来越大,服务多半出了问题;
  • 模型侧信号:拒绝率——模型总说「抱歉,我无法回答」,用户会流失47;
  • 交互行为:重新生成(按量计费的产品里信号更强,没人愿意为好奇多付钱)、删除对话(强负面)、对话长度(陪伴类越长越好,客服类越长越糟——要配合对话多样性看,长而重复 = 循环)48。

4.3 何时收、怎么收​

时机49:初始阶段做校准(但强制反馈会增加尝试产品的阻力,没偏好就默认中性);出问题时(差评、重新生成、转人工;图像领域有 DALL·E 的局部修复——只重画不满意区域,理想态是文本转语音也能只改读错的那个名字);模型置信度低时(两个摘要并排让用户挑,或像 Gemini 只展示开头、用户展开哪个哪个就更吸引——展开行为本身就是信号)。至于顺利时——苹果人机交互指南建议默认就该有好结果,别对好结果也索要反馈;但正面反馈有另一重价值(发现用户真正喜爱的高价值功能),折中方案是限频:只向 1% 的用户弹出反馈请求50。

怎么收——黄金标准是融入工作流51:

  • Midjourney 四图工作流:生成高清版 = 最强正面信号,生成变体 = 弱正面,重新生成 = 都不够好——三个按钮,三档信号,零打扰;
  • GitHub Copilot 浅色草稿:按 Tab 接受、继续输入忽略,每个动作都是反馈;
  • 反面教材:ChatGPT 这类独立应用不知道你用它写的邮件有没有被采用——没融入工作流,就拿不到高质量反馈52。

配套细节:深挖反馈需要最近 5～10 轮对话上下文,要拿到授权或做数据捐赠流程;告知用户反馈的用途;别让用户做不可能的事(在两个统计答案里「选你喜欢的」,该给「我不知道」选项);图标别误导(作者亲历:表单把 1 星的愤怒表情放在 5 星位置,积极文字配了一星);私密反馈更坦率(X 把点赞设为私密后点赞量显著增加),但会牺牲内容可发现性53。

4.4 反馈的陷阱:四类偏差与恶性循环​

四类偏差54:宽容偏差(用户为省事给好评——Uber 司机平均 4.8 分,低于 4.6 可能被停用,五星通胀到失真;对策:用描述性选项替代数字);随机性(用户懒得细读,随机点选);位置偏差(偏爱第一个选项;对策:随机换位或位置校正模型);偏好偏差(偏爱更长的响应,哪怕它更不准确;近因偏差偏爱后看到的)。

最深的坑是恶性反馈循环55:预测结果影响反馈,反馈又训练下一轮模型。视频推荐里排名靠前 → 更多点击 → 排名更高(曝光偏差/信息茧房);猫照片例子里,少数人爱猫 → 系统多生成猫 → 吸引更多爱猫人士 → 整个产品变成爱猫人士聚集地——同样的机制也能放大种族主义这类更有害的偏差。最后是「迎合者」问题:基于人类反馈训练的模型,倾向于说用户想听的话,哪怕那不是最准确有益的56。书里的收束句值得钉在墙上:反馈能提升体验,但不加甄别地使用,可能固化偏见甚至毁掉产品。

5. 作者的判断与证据​

  • 「架构应演进式生长」(作者的行业观察):五步顺序「是我实际生产中经常看到的」,同时声明顺序因项目而异。
  • 「可观测性应先于事故存在」(作者判断):明确反对把监控当事后补充;MTTD/MTTR/CFR 引自 DevOps 社区的成熟实践。
  • 「先裸搭后编排」(作者建议,反主流):与「直接上 LangChain」的流行做法相逆;理由是调试成本,并给出了后期引入的评估标准。
  • 「反馈是数据、也是风险」(有证据):Sharma 2023 的迎合者研究、Uber 评分通胀、X 私密点赞的行为变化;书里同时给了正面用法(Midjourney 工作流、编辑即偏好数据)。
  • 「AI 工程向产品端靠拢」(作者的全书收束判断):反馈设计传统上属产品团队,如今 AI 工程师必须参与——因为反馈是模型迭代的数据来源。

6. 边界与局限​

  • 五步架构是模式总结,不是基准蓝图;书里明确说特定应用需求可能不同。
  • 意图分类器的准确率、防护措施的拦截率等实施指标,书里没给参考数字。
  • 恶性反馈循环的解法(打破循环的具体机制)只在引文层面提及,本书未展开设计模式。
  • 语义缓存的「争议」没有给出成功率数据;1% 抽样收集反馈的偏差风险也只是定性提示。
  • 第三方工具清单(Portkey、NeMo Guardrails 等)是 2024 年快照,该领域迭代极快。

7. 可带走的​

  1. 架构按需生长:上下文 → 防护 → 路由/网关 → 缓存 → 智能体,每个组件对应一类已暴露的问题;
  2. 防护两路:输入拦泄露(检测 → 掩码 → 去掩码,靠一张占位符对照表),输出拦故障(质量类 + 安全类);处理手段按故障选——重试、并行调用、转人工;
  3. 别只盯安全指标,误拒率同样是防护系统的 KPI;流式模式下输出防护天然残废,要另想策略;
  4. 模型网关是性价比最高的早期组件:统一 API、管 Key、控成本、带回退,一处部署处处受益;
  5. 缓存两态:精确缓存稳妥(但小心用户专属答案被缓存泄露);语义缓存省钱但靠嵌入 + 阈值,错配即错答,引入前先评估;
  6. 监控三指标 MTTD/MTTR/CFR;指标围绕故障模式设计,再和北极星业务指标对相关;
  7. 日志记一切并打标签;追踪把一次请求的完整路径拼成时间线——查询失败时它告诉你卡在哪一步;
  8. 防三种漂移:系统提示词被顺手改、用户学会新玩法、底层模型悄悄换;
  9. 对话反馈是座矿:提前终止、重新表述、「你确定吗」、直接编辑(编辑 = 现成的偏好数据)——用户纠正 AI 的每句话都在告诉你哪里错了;
  10. 反馈四偏差(宽容/随机/位置/偏好)+ 恶性循环(曝光偏差、迎合者):先理解偏差再解读数据,否则反馈会固化偏见甚至毁掉产品。

8. 原文地图​

主题原书章原文位置
最简架构第10章text/17-fm.txt:44(搜「最简单的架构」)
演进五步第10章text/17-fm.txt:56(搜「信息收集工具」) · text/17-fm.txt:59(搜「安全防护」) · text/17-fm.txt:62(搜「路由器和网关」) · text/17-fm.txt:65(搜「缓存技术」) · text/17-fm.txt:68(搜「执行动作」)
上下文构建≈特征工程第10章text/17-fm.txt:93(搜「特征工程」)
提供商支持差异第10章text/17-fm.txt:97(搜「文档类型和数量」)
防护两类第10章text/17-fm.txt:117(搜「输入防护措施和输出防护」)
风险无法完全消除第10章text/17-fm.txt:123(搜「无法被完全消除」)
泄露三路径、三星案例第10章text/17-fm.txt:129(搜「三星」) · text/17-fm.txt:134(搜「公司机密」)
掩码—去掩码 [PHONE NUMBER]第10章text/17-fm.txt:155(搜「[PHONE NUMBER]」)
输出防护两功能、故障两族第10章text/17-fm.txt:170(搜「捕获输出故障」) · text/17-fm.txt:185(搜「质量类故障」) · text/17-fm.txt:188(搜「无效的JSON」)
误拒率第10章text/17-fm.txt:212(搜「误拒率」)
重试与并行调用第10章text/17-fm.txt:215(搜「重试」) · text/17-fm.txt:218(搜「并行调用」)
人工介入第10章text/17-fm.txt:221(搜「人工介入」)
可靠性与延迟权衡、流式难题第10章text/17-fm.txt:232(搜「可靠性与延迟」) · text/17-fm.txt:235(搜「流式补全模式」)
自托管 vs 第三方第10章text/17-fm.txt:238(搜「第三方API」)
防护工具清单第10章text/17-fm.txt:244(搜「Purple Llama」)
路由器与意图分类器第10章text/17-fm.txt:270(搜「差异化的解决方案」) · text/17-fm.txt:273(搜「意图分类器」)
重置密码→FAQ、投票拒绝、Freezing第10章text/17-fm.txt:276(搜「重置密码」) · text/17-fm.txt:285(搜「投票给谁」) · text/17-fm.txt:288(搜「Freezing」)
下一步动作预测器、小模型路由第10章text/17-fm.txt:291(搜「下一步动作预测器」) · text/17-fm.txt:294(搜「GPT-2」)
上下文长度不匹配第10章text/17-fm.txt:297(搜「8000个token」)
路由—检索—生成—评分第10章text/17-fm.txt:309(搜「路由—检索—生成—评分」)
模型网关五职责第10章text/17-fm.txt:315(搜「模型网关」) · text/17-fm.txt:428(搜「细粒度」) · text/17-fm.txt:431(搜「回退策略」) · text/17-fm.txt:434(搜「负载均衡」)
网关产品第10章text/17-fm.txt:437(搜「Portkey」)
精确缓存、LRU第10章text/17-fm.txt:471(搜「精确缓存」) · text/17-fm.txt:480(搜「LRU」)
不该缓存的查询、缓存泄露第10章text/17-fm.txt:483(搜「不应缓存」) · text/17-fm.txt:487(搜「退货政策」)
语义缓存及其争议第10章text/17-fm.txt:493(搜「语义缓存」) · text/17-fm.txt:505(搜「相似度阈值」) · text/17-fm.txt:511(搜「容易出错」)
智能体模式:循环与写入第10章text/17-fm.txt:537(搜「循环」) · text/17-fm.txt:546(搜「写入动作」)
可观测性是设计核心第10章text/17-fm.txt:566(搜「核心组成部分」)
MTTD/MTTR/CFR第10章text/17-fm.txt:589(搜「MTTD」) · text/17-fm.txt:595(搜「CFR」)
评估与监控协同第10章text/17-fm.txt:598(搜「保持一致」)
监控 vs 可观测性、埋点第10章text/17-fm.txt:612(搜「埋点」)
指标围绕故障模式第10章text/17-fm.txt:624(搜「故障模式」)
格式错误最易追踪、AI 裁判第10章text/17-fm.txt:633(搜「格式错误」) · text/17-fm.txt:636(搜「AI裁判」)
用户行为指标第10章text/17-fm.txt:645(搜「中途停止」)
北极星指标第10章text/17-fm.txt:666(搜「北极星」)
抽样 vs 全面、维度细分第10章text/17-fm.txt:687(搜「抽样检查」) · text/17-fm.txt:690(搜「细分」)
日志流水账与调试过程第10章text/17-fm.txt:699(搜「流水账」)
记录所有内容第10章text/17-fm.txt:714(搜「记录所有内容」)
人工抽查与判断标准漂移第10章text/17-fm.txt:720(搜「Who Validates」)
追踪时间线第10章text/17-fm.txt:723(搜「追踪」)
三种漂移第10章text/17-fm.txt:744(搜「拼写错误」) · text/17-fm.txt:750(搜「自动驾驶汽车」) · text/17-fm.txt:756(搜「底层模型」)
编排器两步、六步流水线第10章text/17-fm.txt:767(搜「编排器」) · text/17-fm.txt:803(搜「人工操作员」)
并行执行第10章text/17-fm.txt:813(搜「并行执行」)
编排工具与先裸搭建议第10章text/17-fm.txt:816(搜「LangChain」) · text/17-fm.txt:819(搜「不依赖编排工具」)
编排工具评估三条第10章text/17-fm.txt:825(搜「集成性」) · text/17-fm.txt:840(搜「隐性API调用」)
反馈即数据飞轮入口第10章text/17-fm.txt:855(搜「数据飞轮」)
用户反馈即用户数据第10章text/17-fm.txt:861(搜「用户数据」)
显式/隐式反馈第10章text/17-fm.txt:872(搜「显式反馈」) · text/17-fm.txt:875(搜「隐式反馈」)
悉尼酒店例子第10章text/17-fm.txt:881(搜「悉尼」) · text/17-fm.txt:914(搜「画廊」)
反馈三用途第10章text/17-fm.txt:920(搜「评估」;若定位失败搜「个性化定制」)
提前终止、错误修正第10章text/17-fm.txt:941(搜「提前终止」) · text/17-fm.txt:944(搜「我的意思是」)
Bill 是嫌疑人、你确定吗第10章text/17-fm.txt:956(搜「嫌疑人」) · text/17-fm.txt:962(搜「你确定吗」)
直接编辑 = 偏好数据第10章text/17-fm.txt:965(搜「直接编辑」) · text/17-fm.txt:968(搜「落败响应」)
抱怨与 FITS、情绪第10章text/17-fm.txt:971(搜「FITS」) · text/17-fm.txt:983(搜「呼叫中心」)
拒绝率第10章text/17-fm.txt:986(搜「拒绝率」)
重新生成、按量计费信号第10章text/17-fm.txt:995(搜「重新生成」) · text/17-fm.txt:998(搜「按使用量计费」)
对话管理、长度、多样性第10章text/17-fm.txt:1013(搜「删除对话」) · text/17-fm.txt:1016(搜「轮数」) · text/17-fm.txt:1019(搜「对话多样性」)
显式稀少、隐式噪声第10章text/17-fm.txt:1022(搜「响应偏差」) · text/17-fm.txt:1025(搜「噪声」)
收集时机:初始/出问题/低置信度第10章text/17-fm.txt:1056(搜「校准」) · text/17-fm.txt:1059(搜「幻觉」) · text/17-fm.txt:1080(搜「置信度」)
图像修复、Gemini 展开第10章text/17-fm.txt:1070(搜「inpainting」) · text/17-fm.txt:1094(搜「展开」)
苹果指南、1% 用户第10章text/17-fm.txt:1112(搜「人机交互指南」) · text/17-fm.txt:1118(搜「1%的用户」)
融入工作流、Midjourney 三信号第10章text/17-fm.txt:1124(搜「无缝融入」) · text/17-fm.txt:1127(搜「Midjourney」) · text/17-fm.txt:1145(搜「最强的正面信号」)
Copilot、独立应用劣势第10章text/17-fm.txt:1148(搜「Copilot」) · text/17-fm.txt:1157(搜「日常工作流程」)
上下文 5～10 轮、数据捐赠、用途第10章text/17-fm.txt:1160(搜「5～10轮」) · text/17-fm.txt:1163(搜「捐赠」) · text/17-fm.txt:1166(搜「用途」)
别要求不可能、Luma 图标第10章text/17-fm.txt:1169(搜「我不知道」) · text/17-fm.txt:1178(搜「Luma」)
私密 vs 公开、X 点赞第10章text/17-fm.txt:1195(搜「私密」) · text/17-fm.txt:1196(搜「点赞」)
宽容偏差与 Uber 4.8第10章text/17-fm.txt:1222(搜「宽容偏差」) · text/17-fm.txt:1225(搜「4.8」)
描述性选项第10章text/17-fm.txt:1236(搜「描述性选项」)
随机性第10章text/17-fm.txt:1258(搜「随机」)
位置偏差与校正第10章text/17-fm.txt:1261(搜「位置偏差」) · text/17-fm.txt:1267(搜「位置校正」)
偏好偏差、近因偏差第10章text/17-fm.txt:1273(搜「近因偏差」)
恶性反馈循环、视频例子第10章text/17-fm.txt:1285(搜「恶性反馈循环」) · text/17-fm.txt:1288(搜「曝光偏差」)
猫照片、迎合者第10章text/17-fm.txt:1291(搜「猫的照片」) · text/17-fm.txt:1294(搜「迎合」)
不加甄别会毁掉产品第10章text/17-fm.txt:1297(搜「毁掉产品」)
AI 工程向产品端靠拢第10章text/17-fm.txt:1323(搜「产品端靠拢」)

Footnotes​

  1. 出处:「第10章」第 41 段(text/17-fm.txt:41,搜「演进流程」)与第 44 段(text/17-fm.txt:44,搜「最简单的架构」)。 ↩

  2. 出处:「第10章」第 56 段(text/17-fm.txt:56,搜「信息收集工具」)、第 59 段(text/17-fm.txt:59,搜「安全防护」)、第 62 段(text/17-fm.txt:62,搜「路由器和网关」)、第 65 段(text/17-fm.txt:65,搜「缓存技术」)与第 68 段(text/17-fm.txt:68,搜「执行动作」)。 ↩

  3. 出处:「第10章」第 93 段(text/17-fm.txt:93,搜「特征工程」)。 ↩

  4. 出处:「第10章」第 97 段(text/17-fm.txt:97,搜「文档类型和数量」)。 ↩

  5. 出处:「第10章」第 117 段(text/17-fm.txt:117,搜「输入防护措施和输出防护」)。 ↩

  6. 出处:「第10章」第 126 段(text/17-fm.txt:126,搜「组织外部」)、第 129 段(text/17-fm.txt:129,搜「三星」)与第 134 段(text/17-fm.txt:134,搜「公司机密」)。 ↩

  7. 出处:「第10章」第 143 段(text/17-fm.txt:143,搜「敏感数据」;若定位失败搜「身份证号码」)与第 155 段(text/17-fm.txt:155,搜「[PHONE NUMBER]」)。 ↩

  8. 出处:「第10章」第 167 段(text/17-fm.txt:167,搜「输出防护措施」)与第 170 段(text/17-fm.txt:170,搜「捕获输出故障」)。 ↩

  9. 出处:「第10章」第 182 段(text/17-fm.txt:182,搜「质量类」;若定位失败搜「安全类」)、第 188 段(text/17-fm.txt:188,搜「无效的JSON」)与第 200 段(text/17-fm.txt:200,搜「种族主义」)。 ↩

  10. 出处:「第10章」第 215 段(text/17-fm.txt:215,搜「重试」)、第 218 段(text/17-fm.txt:218,搜「并行调用」)与第 221 段(text/17-fm.txt:221,搜「人工介入」)。 ↩

  11. 出处:「第10章」第 212 段(text/17-fm.txt:212,搜「误拒率」)。 ↩

  12. 出处:「第10章」第 235 段(text/17-fm.txt:235,搜「流式补全模式」)。 ↩

  13. 出处:「第10章」第 238 段(text/17-fm.txt:238,搜「第三方API」)。 ↩

  14. 出处:「第10章」第 244 段(text/17-fm.txt:244,搜「Purple Llama」)。 ↩

  15. 出处:「第10章」第 270 段(text/17-fm.txt:270,搜「差异化的解决方案」)、第 273 段(text/17-fm.txt:273,搜「意图分类器」)与第 276 段(text/17-fm.txt:276,搜「重置密码」)。 ↩

  16. 出处:「第10章」第 285 段(text/17-fm.txt:285,搜「投票给谁」)与第 288 段(text/17-fm.txt:288,搜「Freezing」)。 ↩

  17. 出处:「第10章」第 291 段(text/17-fm.txt:291,搜「下一步动作预测器」)与第 294 段(text/17-fm.txt:294,搜「GPT-2」)。 ↩

  18. 出处:「第10章」第 309 段(text/17-fm.txt:309,搜「路由—检索—生成—评分」)。 ↩

  19. 出处:「第10章」第 315 段(text/17-fm.txt:315,搜「模型网关」)、第 428 段(text/17-fm.txt:428,搜「细粒度」)、第 431 段(text/17-fm.txt:431,搜「回退策略」)与第 434 段(text/17-fm.txt:434,搜「负载均衡」)。 ↩

  20. 出处:「第10章」第 437 段(text/17-fm.txt:437,搜「Portkey」)。 ↩

  21. 出处:「第10章」第 465 段(text/17-fm.txt:465,搜「精确缓存和语义缓存」)与第 471 段(text/17-fm.txt:471,搜「精确缓存」)。 ↩

  22. 出处:「第10章」第 480 段(text/17-fm.txt:480,搜「LRU」)、第 483 段(text/17-fm.txt:483,搜「不应缓存」)与第 487 段(text/17-fm.txt:487,搜「退货政策」)。 ↩

  23. 出处:「第10章」第 493 段(text/17-fm.txt:493,搜「语义缓存」)、第 505 段(text/17-fm.txt:505,搜「相似度阈值」)与第 511 段(text/17-fm.txt:511,搜「容易出错」)。 ↩

  24. 出处:「第10章」第 537 段(text/17-fm.txt:537,搜「循环」)与第 546 段(text/17-fm.txt:546,搜「写入动作」)。 ↩

  25. 出处:「第10章」第 566 段(text/17-fm.txt:566,搜「核心组成部分」)。 ↩

  26. 出处:「第10章」第 586 段(text/17-fm.txt:586,搜「三个指标」;若定位失败搜「DevOps」)、第 589 段(text/17-fm.txt:589,搜「MTTD」)与第 595 段(text/17-fm.txt:595,搜「CFR」)。 ↩

  27. 出处:「第10章」第 598 段(text/17-fm.txt:598,搜「保持一致」)。 ↩

  28. 出处:「第10章」第 624 段(text/17-fm.txt:624,搜「故障模式」)。 ↩

  29. 出处:「第10章」第 633 段(text/17-fm.txt:633,搜「格式错误」)与第 636 段(text/17-fm.txt:636,搜「AI裁判」)。 ↩

  30. 出处:「第10章」第 642 段(text/17-fm.txt:642,搜「自然语言反馈」;若定位失败搜「交互数据」)与第 645 段(text/17-fm.txt:645,搜「中途停止」)。 ↩

  31. 出处:「第10章」第 666 段(text/17-fm.txt:666,搜「北极星」)。 ↩

  32. 出处:「第10章」第 699 段(text/17-fm.txt:699,搜「流水账」)与第 714 段(text/17-fm.txt:714,搜「记录所有内容」)。 ↩

  33. 出处:「第10章」第 723 段(text/17-fm.txt:723,搜「追踪」)与第 732 段(text/17-fm.txt:732,搜「哪一步」;若定位失败搜「准确定位」)。 ↩

  34. 出处:「第10章」第 720 段(text/17-fm.txt:720,搜「Who Validates」)。 ↩

  35. 出处:「第10章」第 738 段(text/17-fm.txt:738,搜「发生变化」;若定位失败搜「变化」)、第 744 段(text/17-fm.txt:744,搜「拼写错误」)、第 750 段(text/17-fm.txt:750,搜「自动驾驶汽车」)与第 756 段(text/17-fm.txt:756,搜「底层模型」)。 ↩

  36. 出处:「第10章」第 767 段(text/17-fm.txt:767,搜「编排器」)与第 788 段(text/17-fm.txt:788,搜「处理原始查询」)、第 803 段(text/17-fm.txt:803,搜「人工操作员」)。 ↩

  37. 出处:「第10章」第 813 段(text/17-fm.txt:813,搜「并行执行」)。 ↩

  38. 出处:「第10章」第 816 段(text/17-fm.txt:816,搜「LangChain」)、第 819 段(text/17-fm.txt:819,搜「不依赖编排工具」)与第 840 段(text/17-fm.txt:840,搜「隐性API调用」)。 ↩

  39. 出处:「第10章」第 855 段(text/17-fm.txt:855,搜「数据飞轮」)。 ↩

  40. 出处:「第10章」第 861 段(text/17-fm.txt:861,搜「用户数据」)。 ↩

  41. 出处:「第10章」第 872 段(text/17-fm.txt:872,搜「显式反馈」)与第 875 段(text/17-fm.txt:875,搜「隐式反馈」)。 ↩

  42. 出处:「第10章」第 878 段(text/17-fm.txt:878,搜「对话界面」)。 ↩

  43. 出处:「第10章」第 881 段(text/17-fm.txt:881,搜「悉尼」)、第 890 段(text/17-fm.txt:890,搜「400美元」;若定位失败搜「Historic Rocks」)与第 899 段(text/17-fm.txt:899,搜「200美元」)。 ↩

  44. 出处:「第10章」第 914 段(text/17-fm.txt:914,搜「画廊」)。 ↩

  45. 出处:「第10章」第 938 段(text/17-fm.txt:938,搜「自然语言反馈」)、第 941 段(text/17-fm.txt:941,搜「提前终止」)与第 944 段(text/17-fm.txt:944,搜「我的意思是」)。 ↩

  46. 出处:「第10章」第 956 段(text/17-fm.txt:956,搜「嫌疑人」)、第 962 段(text/17-fm.txt:962,搜「你确定吗」)、第 965 段(text/17-fm.txt:965,搜「直接编辑」)与第 968 段(text/17-fm.txt:968,搜「落败响应」)。 ↩

  47. 出处:「第10章」第 971 段(text/17-fm.txt:971,搜「FITS」)、第 983 段(text/17-fm.txt:983,搜「呼叫中心」)与第 986 段(text/17-fm.txt:986,搜「拒绝率」)。 ↩

  48. 出处:「第10章」第 995 段(text/17-fm.txt:995,搜「重新生成」)、第 998 段(text/17-fm.txt:998,搜「按使用量计费」)、第 1013 段(text/17-fm.txt:1013,搜「删除对话」)、第 1016 段(text/17-fm.txt:1016,搜「轮数」)与第 1019 段(text/17-fm.txt:1019,搜「对话多样性」)。 ↩

  49. 出处:「第10章」第 1056 段(text/17-fm.txt:1056,搜「校准」)、第 1059 段(text/17-fm.txt:1059,搜「幻觉」)、第 1070 段(text/17-fm.txt:1070,搜「inpainting」)与第 1080 段(text/17-fm.txt:1080,搜「置信度」)。 ↩

  50. 出处:「第10章」第 1094 段(text/17-fm.txt:1094,搜「展开」)、第 1112 段(text/17-fm.txt:1112,搜「人机交互指南」)与第 1118 段(text/17-fm.txt:1118,搜「1%的用户」)。 ↩

  51. 出处:「第10章」第 1124 段(text/17-fm.txt:1124,搜「无缝融入」)、第 1127 段(text/17-fm.txt:1127,搜「Midjourney」)与第 1145 段(text/17-fm.txt:1145,搜「最强的正面信号」)。 ↩

  52. 出处:「第10章」第 1148 段(text/17-fm.txt:1148,搜「Copilot」)与第 1157 段(text/17-fm.txt:1157,搜「日常工作流程」)。 ↩

  53. 出处:「第10章」第 1160 段(text/17-fm.txt:1160,搜「5～10轮」)、第 1163 段(text/17-fm.txt:1163,搜「捐赠」)、第 1169 段(text/17-fm.txt:1169,搜「我不知道」)、第 1178 段(text/17-fm.txt:1178,搜「Luma」)与第 1196 段(text/17-fm.txt:1196,搜「点赞」)。 ↩

  54. 出处:「第10章」第 1222 段(text/17-fm.txt:1222,搜「宽容偏差」)、第 1225 段(text/17-fm.txt:1225,搜「4.8」)、第 1258 段(text/17-fm.txt:1258,搜「随机」)、第 1261 段(text/17-fm.txt:1261,搜「位置偏差」)与第 1273 段(text/17-fm.txt:1273,搜「近因偏差」)。 ↩

  55. 出处:「第10章」第 1285 段(text/17-fm.txt:1285,搜「恶性反馈循环」)、第 1288 段(text/17-fm.txt:1288,搜「曝光偏差」)与第 1291 段(text/17-fm.txt:1291,搜「猫的照片」)。 ↩

  56. 出处:「第10章」第 1294 段(text/17-fm.txt:1294,搜「迎合」)与第 1297 段(text/17-fm.txt:1297,搜「毁掉产品」)。 ↩