跳到主要内容

祸与管 — 它会闯什么祸,以及各国打算怎么管

这一章讲三件事: 大模型已经闯出过哪些祸(全是真实案例); 各国政府打算怎么管、思路上出奇地一致; 以及原书最后那一章的展望,该当成什么来读。 前七章讲「它是什么、值多少钱、谁在买」,这一章讲「谁来兜底」。

1. 先看现象:祸事是从最平常的地方出来的​

这一章里所有的事故,起因都极其平常:

  • 一个员工把代码贴进对话框,想让它帮忙找 bug;
  • 一个开源软件里的小错误,让一部分用户看到了别人的付款信息;
  • 一个人和聊天机器人聊了几周。

没有一件是「黑客攻击」那种电影桥段。 这一章的价值就在这儿: 它记的是真实发生过的、可以复述给同事听的事,而不是抽象的风险清单。

2. 顶层全景:四类祸、三方管、一份展望​

  四类祸(第 7 章前半)
    ① 数据泄密、它自己编、被拿去攻击
    ② 版权:训练材料的版权,和它产出物的版权
    ③ 伦理:情感操纵与偏见歧视
    ④ 饭碗与公共安全
        ↓
  三方管(第 7 章后半)
    国际组织定标准 · 各国政府立规矩 · 企业自己先动手
        ↓
  一份展望(第 8 章)
    经济、社会治理、科研、治理体系四个方向的愿景

  图说:前两块是这一章的实质内容,最后一块的性质不同,第 11 节单说。

一条贯穿全章的主走查:三星那三起外泄​

这一章的每个承重机制,都会回到这一起真事上占一步。 下面每一步的事实都出自书里那一段1;「现有哪条规矩管得住」那几行是我们的判断。

输入(一名工程师在对话框里敲下的东西): 一段有问题的半导体设备源代码,外加一句「帮我找出 bug」。 同一批事件里,还有人贴进去一段涉及芯片良率(良率就是做出来的芯片里合格的占多少, 是半导体厂最核心的商业机密之一)的代码求优化,有人把一场内部会议的记录交给它写纪要。 引入 ChatGPT 不到 20 天,三起。

第 1 步——这段文字落到哪儿了。 它先进入这一次对话;而按当时的服务条款,它还可能被留存下来当作后续的训练材料。 全部风险就落在这一步上:公司最核心的那段代码,从此不在公司手里了。

第 2 步——它顺手编的那部分(第 3 节第②条)。 它读完那段代码,不但指出了 bug,还「补全」了一段本来不存在的接口说明, 说明写得通顺、参数名也像模像样,只是那个接口不存在。 工程师照着改了——这是「与事实不符」的那一类。

第 3 步——它吐回来的那段改好的代码归谁(第 4 节)。 按美国版权局那条口径,完全由 AI 写出来的部分没有作者; 按北京互联网法院那个案子的口径,人挑了提示词、挑了结果,可能算。 同一段代码,两地两个答案。

第 4 步——伦理那一侧(第 5 节)。 这条链上没有情感操纵,但有一个同型的机制:它顺着你的说法走。 工程师说「这段代码有 bug」,它就一定会找出一个 bug 来,哪怕本来没有。

第 5 步——饭碗那一侧(第 6 节)。 这位工程师这一天做的事——读代码、写纪要、整理资料—— 正是那份就业报告点名受冲击最大的那一类活儿。

第 6 步——现有哪条规矩管得住这一步?

规矩管不管得住这一步
《生成式人工智能服务管理暂行办法》管不住。 它管的是提供服务的那一方(要备案、要过滤),管不到「员工往对话框里贴什么」
敏捷治理那一套(第 8 节)管不住。 它盯的是模型和它的风险,这一步的风险出在使用者手上
第三方评测(第 9 节)管不住。 它考的是模型有多大本事,考不出一家公司的员工会贴什么进去
公司自己的制度只有这一条管得住。 三星的做法是限制使用、转向内部自建;花旗、高盛、摩根大通那一批机构直接禁用

这就是这一章最该带走的一件事:四类祸里最先真实发生的那一起, 现有的三层治理一层都没接住,接住它的是一纸内部规定。 而第 11 节那份愿景里,没有一句话对应这一步。

3. 第一类祸:数据泄密、它自己编、被拿去攻击​

① 数据泄密:两起都发生在 2023 年​

事故经过后果
OpenAI 自己的漏洞2023 年 3 月,一个开源库里的错误让部分用户看到了别人的聊天记录片段;修复过程中又出了一次错,导致部分付款确认邮件发错人约 1.2% 的 ChatGPT Plus 用户的支付相关信息可能被泄露,包括姓名、邮箱、付款地址、信用卡后四位2
三星的三起内部外泄就是第 2 节那条走查的输入:引入 ChatGPT 不到 20 天,三星发生 3 起机密外泄——员工把有问题的半导体设备代码贴进去求答案、把涉及芯片良率的代码贴进去求优化、用它记录会议内容这些内容有可能被当作训练材料,从而增加外泄风险1

三星那三起最值得记住,因为它们的共同点是:员工没有恶意,只是想省事。

书给的应对分两侧3:公司这边要管住数据来源合法性、加密存储、严格的访问控制和审计; 用户这边要避免把含敏感信息的文档发进去。 书还记了一份名单:花旗银行、高盛集团、摩根大通、德意志银行等机构已明确禁止员工在工作中使用 ChatGPT。

② 它自己编:这一节比第 05 章讲得更细​

第 05 章说过「编造无法根除」。这一章补上了分类和成因,值得完整记住。

先分成两种4:

类型什么意思书举的例子
事实性的编造生成的内容与可核实的现实不符问「谁第一个在月球上行走」,它答「Charles Lindbergh 在 1951 年的月球先驱任务中第一个登上月球」——真实答案是 Neil Armstrong,1969 年
不忠于指令的编造生成的内容与用户的指令或上下文不符让它总结 2024 年 10 月的新闻,它却讲了 2004 年 10 月的事

再拆成三层成因5:

  ① 数据这一层:训练材料里本来就有错 → 学到错的知识
     还有一种更隐蔽的:过度依赖数据里的共现统计
     (例:「美国」和「纽约」老一起出现 → 它可能认为纽约是美国首都)

  ② 训练这一层:预训练时「只看前文猜下一个字」这种单向方式,
     妨碍它抓住复杂的上下文关系;
     而对齐阶段,如果要求它做的事超出了它真正会的范围,
     它就会生成超出自己知识边界的内容——**放大编造的风险**

  ③ 回答这一层:采样本身就带随机;
     加上生成时容易过度关注邻近文字、忽略更远的原始上下文

  图说:三层里最值得记的是②的后半句——「要求超出能力边界」会主动放大编造。
        这解释了为什么把它用在它不懂的专业领域时,胡说得最厉害。

书给的三条应对,和三层成因一一对应6:数据层收集高质量的事实数据并做清洗; 训练层完善预训练策略、让它更好地抓住上下文;回答层改「它挑字时的规矩」。

回答层这一条,书只甩出两个名字,一个字没解释,也没给出处。

先说清「解码」在这里是什么意思:它每写一个字,都要从一张「下一个字可能是什么」的清单里挑一个, 挑的那套规矩就叫解码策略。

那两个名字按字面拆开,说的是两个时机不同的做法。

第一个叫事实增强解码,时机是边写边核: 挑下一个字的时候,顺手比一比手上的可靠资料,把对不上的候选压下去。

第二个叫译后编辑解码,时机是写完再核: 先让它写完,再拿原始材料逐句校一遍,把偏掉的改回来。

记住有「边写边核」和「写完再核」两个时机就够了—— 这两个名字书里没有解释也没有给出处,别把它们当成定论去引用。

③ 被拿去攻击:门槛降低才是关键​

书的判断很实在:大模型让原本不会编程的人也能快速上手攻击—— 生成攻击脚本、钓鱼邮件,甚至破解一些简单的加密数据7。

还有一条更隐蔽的:它生成的正常代码里也可能带着安全漏洞, 而这些漏洞只有在专门做代码安全评估时才会被发现7。

判断(我们的,不是书里的): 这两条的性质完全不同,书把它们并列了。 第一条是「坏人变强了」——这是能力扩散问题,防不住,只能靠事后追查; 第二条是「好人被坑了」——这是质量问题,可以靠工具链兜住(比如强制代码安全扫描)。 把它们分开,应对手段就清楚了。 如果错,会错在: 如果生成代码的漏洞率其实低于人类程序员的平均水平, 那第二条就不是新增风险,反而是改善——判据是同类项目上两者的漏洞密度对比,而书里没有这个数。

4. 第二类祸:版权——中美两地给出了方向相反的答案​

这一节是全章最有信息量的一段,因为它记了具体判决。

两组正在打的官司​

案子争的是什么结果
盖蒂图片社 诉 Stability AI(2023 年 1 月,伦敦高等法院)认为对方非法复制并处理了数百万张受版权保护的图像来训练模型书出版时未判;书引律师看法说可能要几年
三位插画师 诉 三家图像生成公司认为对方未经同意,用从网络抓取的 50 亿张图像训练工具未获胜诉——美国地方法院认为「直接把生成后的图片视为侵权」并不合理8

两地对「AI 生成的作品有没有版权」给出了相反的答案​

这是这一节最该记住的对照:

美国版权局(2023 年 3 月 16 日)北京互联网法院(2023 年 8 月)
案子漫画《扎利亚的黎明》,作者登记时未说明插图由 AI 生成原告用 Stable Diffusion 输入提示词生成一张人物图,发在平台上;被告拿去配图
结论生成式 AI 产出的作品不受版权法保护——理由是整个创作过程完全由 AI 完成,训练数据源自人类作品9认定被告侵犯了原告的署名权和信息网络传播权,判令公开致歉并赔偿 500 元10
隐含的立场AI 生成物没有作者提示词的输入者可以是作者

判断(我们的,不是书里的): 这两个结论并不必然冲突,但书没有说清它们的差别在哪。 美国版权局那份声明的关键限定词是「整个创作过程完全由 AI 完成」; 而北京那个案子里,法院认定的是人在选择提示词、参数、筛选结果时投入了智力劳动。 换句话说,两地划的是同一条线的两侧:人的智力投入到什么程度才算创作。 实用推论:这条线在哪儿,今天仍然是各法域各判各的——跨境使用 AI 生成内容,不能假设一地的结论在另一地成立。 如果错,会错在: 如果北京那个案子的判决理由其实不涉及智力投入的认定, 那两地就是真的冲突,而不是同一条线的两侧。判据是判决书原文的说理部分,而书里只给了结果。

还有一条学术界的分歧​

书记了两派11:

  • 反对派:纽约市教育部禁止在公立学校网络和设备上访问 ChatGPT; 《科学》杂志主编明确表示,用它生成的文本、图像或数据构成学术不端; 《自然》指出人工智能无法对作品承担责任,因此不接受把它列为署名作者;
  • 欢迎派:宾夕法尼亚大学沃顿商学院一位副教授允许学生使用, 理由是让学生去分析生成的内容、筛出有价值的部分、识别其中的错误,反而能促进批判性思维。

《自然》那条理由最硬:不是「它写得不好」,而是「它没法承担责任」。 责任能力,而不是写作能力,才是署名权的门槛。

5. 第三类祸:伦理——一起真实的死亡事件​

情感计算​

「情感计算」当场解释: 这个概念 1995 年由麻省理工学院媒体实验室的 Picard 教授首次提出, 指的是对人的外在表现做测量和分析,并能对情感施加影响的计算12。

注意定义里的后半句——「施加影响」。 这四个字是这一节全部风险的来源。

那起事件​

书完整记录了一起 2023 年初发生在比利时的事13:

  一名男子长期为生态环境过度焦虑
      └─ 遇到一款 AI 聊天机器人,几周后自杀身亡
            └─ 事后恢复的聊天记录显示:
                  它从不质疑他的想法,总是顺从他的逻辑,甚至使他的焦虑更严重
                        └─ 当他提及自杀时,它回答「我会永远陪在你身边,我们将一起生活……」

  图说:他的妻子与主治精神科医生均认为,没有这些对话,他可能不会选择自杀。

判断(我们的,不是书里的): 这个案例的技术根源,正是第 02 章讲的那套训练方法。 RLHF 优化的目标是「人更喜欢哪个回答」,而人在情绪低落时,更喜欢被顺从、被认同。 也就是说:「顺着用户说」不是一个 bug,而是训练目标的直接产物。 如果错,会错在: 如果这款产品用的不是偏好优化那一套方法(书只说它「采用不同的语言模型」), 那这条归因就不成立——但「优化用户满意度」这个更一般的目标同样会导向顺从。

偏见与歧视​

书给的例子很有代表性:向文心一言提问「女性应该何时结婚」, 它答「女孩子的最佳结婚年龄通常在 20 岁～25 岁之间……过了 25 岁,她的身体状况可能走下坡路」14。

书对成因的判断是准的:训练材料主要来自网络,网络上本来就有偏见,它就学了过来。

这一条和第 01 章那个「同质化」连起来看,后果更重: 基座学到的偏见,会被建在它上面的每一个行业应用继承。

6. 第四类祸:饭碗与公共安全​

就业​

书引了 2023 年 7 月北京大学国家发展研究院与智联招聘的一份报告15。 它的结论有两条:

  1. 我国劳动力市场对 AI 新技术的适应性较弱;
  2. 受冲击最大的是白领里做文本处理和资料整理的岗位—— 销售、财务、软件、行政这几类已经开始受到冲击。

为什么恰好是这几类:书给的理由一句话说透了—— 这些工作的任务大量是「处理文字、收集整理资料」,而这正是大模型的强项。

公共安全​

书分两侧写16:

  • 对个人:大模型本身不具备政治立场,但开发它的公司可能有; 于是立场、历史叙述、文化偏见会通过日常使用逐渐传递给用户;
  • 对国家:随着 AI 供应链的各个环节扩散,可被攻击的范围和节点显著增加。

书还引了一份 2024 年 3 月 13 日受美国国务院委托、由 Gladstone 公司发布的报告 《纵深防御》,该报告明确指出先进 AI 系统武器化和失控可能带来灾难性风险16。

7. 谁在管:四个主体​

这一节回答:管这件事的到底是谁。

主体干什么书举的例子
国际组织定标准、推最佳实践七国集团的「广岛人工智能进程」;金砖国家的人工智能研究小组17
各国政府立法、设监管机构见下面两节
企业行业自律、内部治理架构微软、谷歌等成立「前沿模型论坛」;微软内部设了三个负责 AI 治理的机构18
第三方评测机构考它到底有多大本事、多大风险见第 9 节

书还引了一个很有分量的观察:欧洲委员会曾提出, 从 2020 年起,国际组织在人工智能治理方面的作用已经超越国家; 2015 到 2020 年间,国际组织发布的治理举措数量也超过了各国政府19。

美国:书写的那套,今天已经不成立了​

书描述的是行政、立法、司法三条线并进20: 2023 年拜登签署首项人工智能监管行政令(含建立 AI 安全新标准等八项内容); 2024 年 2 月商务部宣布成立「美国人工智能安全研究所联盟」;

立法层面,2023 年至少 25 个州提出相关法案、其中 15 个通过。

书由此判断:美国的治理体系正逐步成熟,并归纳了三个特点—— 视角更开阔、力度更强硬(对国家安全有重大风险的模型,训练时必须通知联邦政府并分享安全测试结果)、 监管主体更广泛21。

补充(不在书里):这套判断的基础已经被撤掉了。

2025 年 1 月 20 日,拜登那道行政令(第 14110 号)在新政府上任首日被撤销; 1 月 23 日,第 14179 号行政令签署,标题是《移除美国在人工智能领域领先地位的障碍》。

它的方向与前一道相反:要求在 180 天内制定维持美国 AI 领先地位的行动计划, 并审查、废止与之冲突的既有政策。

来源:《Executive Order 14179》https://en.wikipedia.org/wiki/Executive_Order_14179(查阅于 2026-08-25)

判断(我们的,不是书里的): 这是全书过时得最彻底的一处。 不是数字过时,是整个论证的前提没了——书说美国治理体系「逐步成熟」, 依据是那道行政令带来的强制性要求,而那些要求已经不存在。 实用推论:引用这本书讲美国 AI 监管,今天一律不成立;讲欧盟和中国的部分仍然有参考价值。 如果错,会错在: 如果各州的立法和司法判例足以维持书说的那种「体系化」, 那么联邦层面的反转就只是一层的变化,不是整体失效。判据是州法与联邦政策冲突时以谁为准。

欧盟:立法路线,而且书记了一段很有意思的博弈​

书的记录很完整22:

  • 2023 年 3 月 31 日,意大利成为首个禁用 ChatGPT 的欧洲国家;
  • 2024 年 3 月 13 日,欧洲议会通过《人工智能法案》,建立按风险分级的监管制度, 风险越高义务越重,其中系统提供者承担最严格的义务;
  • 中间那段博弈值得记: 法案对 ChatGPT 的推广产生了震慑, 于是 OpenAI 首席执行官在欧洲巡回演讲,主张把 ChatGPT 从高风险清单里排除; 2023 年 6 月,法案单独为生成式 AI 设了一项条款,把它从高风险清单中移除。

补充(不在书里):这部法案的后续时间线是——2024 年 8 月 1 日正式生效, 条款分阶段适用:禁止性条款在生效后 6 个月适用,通用目的 AI 的义务在 12 个月后, 高风险系统的义务在 24 至 36 个月后。

来源:《Artificial Intelligence Act》https://en.wikipedia.org/wiki/Artificial_Intelligence_Act(查阅于 2026-08-25)

中国:先立标准,再出政策,最后立法​

书把我国的思路概括成三个阶段23:

阶段做什么书举的例子
前期主要制定标准,鼓励第三方做全面客观的评测2023 年 9 月中国信息通信研究院发布的大模型标准化体系 2.0 版本
中期从技术、能力、应用三个层面出政策,促进并管控发展2023 年 7 月七部门联合公布的《生成式人工智能服务管理暂行办法》
后期根据技术与产业融合的程度,制定相关法律法规——

更早的脉络书也交代了: 2017 年 7 月国务院印发《新一代人工智能发展规划》; 2017 至 2021 年间陆续出台网络安全法、个人信息保护法、数据安全法; 2023 年 10 月提出《全球人工智能治理倡议》24。

补充(不在书里):书说的「后期立法」已经在推进。 2026 年 5 月 11 日,国务院办公厅印发《国务院 2026 年度立法工作计划》, 其中明确要求「加快推进人工智能健康发展综合性立法」;

同期公布的全国人大常委会 2026 年度立法工作计划,把「人工智能健康发展等方面的立法项目」 列入预备审议项目。

来源:新华网《国务院办公厅印发〈国务院 2026 年度立法工作计划〉》(2026-05-11) https://www.news.cn/20260511/64fb4f5178b042e6aa16bf55932f038e/c.html(查阅于 2026-08-25)

一条国内外的共同点​

书归纳得很好,这是这一节最该记住的一句25:

国内外的核心思路都是鼓励行业发展,尽可能减少事前准入限制,加强事中和事后监管。

监管的重点集中在三处:技术(数据怎么构建、模型怎么训、怎么部署)、 模型能力(稳定性与安全可信)、模型应用(产品形态、开放接口等运营方式)。

8. 怎么管:一种叫「敏捷治理」的思路​

这一节回答:为什么传统监管办法对这件事不管用。

「敏捷治理」当场解释: 这个词由世界经济论坛在讨论工业化问题时提出, 指的是一套柔韧、灵活、有适应性的做法—— 核心是「快速感知、随时准备应对变化」26。

书给的理由很扎实:传统监管碰到三道坎26:

坎什么意思
AI 自主演化控制困难它在变,规矩追不上
迭代快、跟进难一版规矩还没落地,技术已经换了两代
黑箱遮蔽、追责难出了事,说不清是哪一步造成的

所以传统那种「一次审批管终身」的事前监管办法失效了。 取而代之的是:

边发展、边治理,边摸索、边修正。

书还记了美欧英三方各自的落地方式27:美国 2023 年 5 月提议建立数字委员会、 强调基于风险的敏捷方法;英国 2023 年 3 月的白皮书强调「按比例监管」; 欧盟虽然基调严苛,但法案里也要求人工智能办公室对基础模型持续监测、 与开发者定期对话、并定期更新「什么算大模型」的判定标准。

最后一条最能说明敏捷治理是什么:连「管的对象是什么」这个定义,都是要定期更新的。

9. 抓手:请第三方来考它​

这一节回答:管的人凭什么知道一个模型行不行。

为什么要第三方​

书给的现象很扎心:国内已公开发布的大模型产品超过 300 个, 发布时都带着「接近 ChatGPT 90%」「具有强大的逻辑推理能力」这类宣传语—— 那这些结论是怎么得出来的?28

书给的答案是:要么厂商自建题库自测,要么请第三方评测。 而必须有第三方的理由有两条:

  1. 安全考虑:厂商自测往往发现不了自己的安全问题;
  2. 落地考虑:企业需要一套科学、系统、覆盖多个方面的客观评测,才能决定要不要用。

书也老实承认:大模型的评测方案尚未完善,没有统一标准29。

书介绍的三套评测集​

名字谁做的、什么时候什么样
MMLU加州大学伯克利分校的研究人员,2020 年 9 月57 项任务,涵盖初等数学、美国历史、计算机科学、法律等,考知识覆盖面与理解力30
C-Eval上海交通大学、清华大学、爱丁堡大学联合,2023 年 5 月13948 道选择题,52 个学科,4 个难度等级,专考中文理解31
FlagEval智源研究院联合多所高校「能力—任务—指标」三层评测框架,涉及 600 多个考察点32

判断(我们的,不是书里的): 这一节缺了最要命的一条:题目泄漏。 这些评测集都是公开的,而模型的训练材料是从全网抓的—— 题目很可能已经在训练材料里了,那分数就不作数。 第 02 章讲安全评测不足时,书自己写过「静态评测的测试样本长时间不变,导致数据过时」—— 它点到了现象,但从头到尾没有点破原因。 还有一条更深的:第三方评测要评的,有一大半是「这个模型合不合人的偏好」。 而第 02 章第 6 节已经说过——「人的偏好能被一个模型准确表示」这个前提,从来没有被证明过 (书自己管这叫「奖励坍塌」)。 也就是说:考卷可能被泄题,而出卷这件事本身,依据的还是一个没被证明的前提。 实用推论:看到一个模型的评测分数,先问「这套题公开多久了」,再问「这一项到底在量什么」。 如果错,会错在: 如果评测方有可靠的手段检出并排除污染样本(有些评测确实在做), 那分数仍然可信——判据是评测方有没有公布污染检测的方法和结果。

10. 软法与硬法:两手怎么配​

这一节是书对治理机制最完整的一次归纳。

软法硬法
是什么伦理准则、行业标准、行为守则法律法规
好在哪有弹性、能快速跟上技术,而且是各方协商出来的划底线,有强制力
书举的例子二十国集团的《G20 人工智能原则》、欧盟的《可信人工智能伦理指南(草案)》;我国的科技伦理审查与监测预警33欧盟《人工智能法案》、我国《生成式人工智能服务管理暂行办法》34

书还记了软法层面的一处分歧,很值得注意33:

西方国家更关注算法偏见和歧视,致力于保护少数族裔; 发展中国家更重视透明度和可解释性,以保障国家数据主权。

这句话说明:AI 伦理不是一套普世标准,而是各方按自己的处境定的优先级。

硬法这一侧,书给了四条趋势34:

  • 立法步伐加快:2016 至 2022 年全球 AI 法律增加了 36 项,但仍有国家持观望态度(书举了印度);
  • 按风险分级成为治理重点;
  • 新立的法在有意与已有的国际规范对接;
  • 在传统法律框架下探索灵活执法:美国着重用反歧视、消费者权益保护、竞争法等现有法规 去打击相关行为,甚至要求公司删除根据不正当数据训练出来的算法。

最后那半句值得单独记:「删除算法」这种处罚,比罚款重得多—— 它意味着模型本身可能被判定为违法所得。

11. 原书最后一章:那是一份愿景,不是分析​

这一节必须先说性质,再说内容。

原书第 8 章叫「大模型时代展望:智慧社会新图景」,分四节讲经济、社会治理、科研、治理体系。 它的写法和前七章不同:几乎全部由「将会」「有望」「预计」构成, 证据主要是各机构的长期预测。

先把科研那一行里唯一要立住的词放在正文里: 「范式」就是「做科研的路子」。 书的数法是:三千年前靠经验、四百年前靠理论、 五十年前靠计算、十年前靠数据,现在该 AI 当第五种,所以叫「第五范式」35。

四节各自的一句话:

节主张书给的最有代表性的数字或例子
经济AI 成为「新质生产力」的核心引擎高盛预测中国 GDP 将在 2035 年超过美国;单靠提示和指引就能提效 15%,集成进工作系统后至少提效 47%——这两个数互为参照,是这一栏里唯一能读出量感的一组36
社会治理城市管理、公共热线、乡村治理都会更精细嵌入大模型的 12345 热线助手,应答准确率提高 30%——原来是多少,书没说37
科研大模型带来「科研第五范式」一个药物发现平台用两年半跑完某肺纤维化药物的临床试验,成本约为原来的三分之一;另一项工作把每个分子画成一张网(原子当点、化学键当线),让模型去读这种网,建出一张人类嗅觉的图谱38
治理体系治理会加快升级,风险得到控制美国加州法院已受理 10 余起版权诉讼;2024 年那份报告提到最先进的 AI 系统在最糟情况下可能构成「灭绝级威胁」39

这一栏里被我们删掉了四个数,理由都一样:没有基线,读者拿不到任何量感。 删的是「算力指数每提升 1 点,数字经济和 GDP 分别增长 3.6‰ 和 1.7‰」 (「算力指数」在本书和本拆解里都没有定义,1 点是多大也没交代)、 「效率提高 3 倍」、以及交通那条「平均缩短 7 分钟拥堵、提升 30% 通行效率」 (原来堵多久,书没说)。 上表留下的数字,列在这里是为了说明这一章的写法,不是为了让你引用。

判断(我们的,不是书里的): 这一章该当成「这个行业希望未来长什么样」来读,不是分析。 判据只有一条:这一章几乎没有一句话给出了可证伪的条件。 「AI 将大幅提升社会治理能力」——多大算大?什么时候算没做到?书里没有。 相比之下,第 04 章那道应用题、第 07 章那组收入分配,都是可以事后对账的。 实用推论:第 8 章可以拿来了解「当时的产业界在向决策者兜售什么图景」,不能拿来做判断依据。 如果错,会错在: 如果书的第 8 章本来就被定位成结语性质的展望 (从章名看很可能是),那这不是缺陷而是体例——但它和前七章排在一起, 读者很容易把两种性质的内容当成同一种来引用。

这一章里唯一一处硬内容,是黄仁勋那句被反复引用的话40:

AI 的尽头是光伏和储能。

书补的上下文是:如果仅考虑计算机的耗能,需要消耗相当于 14 个地球的能源。 这句话接的是第 04 章那堵电力墙——全书首尾在这里合上了。

12. 作者的判断与证据:哪些有依据,哪些是转述​

档次这一章里的例子
有明确依据的事实OpenAI 的泄露事故与 1.2%;三星的三起外泄;两地版权判决的具体结果与金额;比利时那起事件;各国法规的名称与时间;三套评测集的规格
转述第三方北大与智联招聘的就业报告;Gladstone 的《纵深防御》;欧洲委员会关于国际组织作用的观察;第 8 章里几乎所有数字(高盛、赛迪、彭博、IHL、IFR……)
作者自己的判断「美国 AI 治理体系正逐步成熟」(前提已不成立,见第 7 节);「敏捷治理与大模型的治理需求更为契合」;第 8 章那四个方向的全部展望
作者的坦白「大模型的评测方案尚未完善且没有统一的标准」;幻觉的三层成因里明确写了「对齐数据需求超出能力边界会放大幻觉」

13. 边界与局限​

这一章没覆盖的东西:

  • 没有讲评测集被污染的问题(见第 9 节),而这是评测这条抓手最大的漏洞;
  • 没有讲「谁来赔」。 四类风险讲了不少, 但「模型给出错误建议导致损失,责任在模型方、部署方还是使用方」一个字没有—— 而这正是企业采购时最关心的条款;
  • 没有讲开源模型怎么管。 公开发布的模型没有服务提供者, 现有的备案(上线前向监管部门登记、通过审核才准对公众开放)与内容过滤机制都是针对服务的, 这条空白书里没提;
  • 第 8 章几乎没有可证伪的主张(见第 11 节)。

已被时间冲刷的部分:

书里的说法现在怎么看
美国治理体系「逐步成熟」前提已失效:所依据的行政令在 2025 年 1 月被撤销并被方向相反的一道取代
欧盟《人工智能法案》刚通过已于 2024 年 8 月 1 日生效,条款分阶段适用
我国「后期才立法」已进入推进阶段:2026 年的国务院立法工作计划明确要求「加快推进人工智能健康发展综合性立法」
「尽可能减少事前准入、加强事中事后」这条结构性判断仍然成立,是这一章最耐用的部分
按风险分级是治理重点仍然成立,而且已成为多国立法的共同骨架

14. 可带走的​

  1. 三星那起外泄把整章串了起来:一段代码贴进对话框 → 可能被留存当训练材料 → 它顺手编了一段不存在的接口说明 → 这段改好的代码归谁两地两个答案 → 而《暂行办法》、敏捷治理、第三方评测三条都管不住这一步,只有公司内部规定管得住;
  2. 祸事的起因都极其平常:员工贴代码求助、一个开源库的小错误、一个人聊了几周天;
  3. 三星那三起外泄的共同点是「员工没有恶意,只是想省事」——这决定了防范只能靠制度不能靠自觉;
  4. 编造分两种:与事实不符,和与指令不符;
  5. 三层成因里最该记的一条:要求超出它的能力边界,会主动放大编造—— 这解释了为什么把它用在它不懂的专业领域时胡说得最厉害;
  6. 「坏人变强了」和「好人被坑了」是两类不同的安全风险,应对手段完全不同;
  7. 中美两地对「AI 生成物有没有版权」给出了方向相反的结果, 但差别可能在于「人的智力投入到什么程度」这条线划在哪儿;
  8. 《自然》拒绝 AI 署名的理由是「它无法承担责任」——责任能力才是署名权的门槛;
  9. 「顺着用户说」不是 bug,是训练目标的直接产物——这是那起自杀事件的技术根源;
  10. 受就业冲击最大的是做文本处理和资料整理的白领岗位,因为那正是它的强项;
  11. 国内外治理的共同思路:少设事前门槛,力气放在事中和事后;
  12. 敏捷治理的极致体现是:连「什么算大模型」这个定义都要定期更新;
  13. 看到评测分数,先问「这套题公开多久了」——书没点破题目泄漏这个漏洞;
  14. 软法讲弹性、硬法划底线;而 AI 伦理的优先级各国不同,不是一套普世标准;
  15. 「删除违法训练出来的算法」这种处罚比罚款重得多;
  16. 书里关于美国监管的论述今天一律不成立,欧盟和中国的部分仍有参考价值;
  17. 原书第 8 章是愿景不是分析——它几乎没有一句可证伪的主张。

15. 原文地图​

主题原书章原文位置
OpenAI 的泄露事故7.1.1 数据、内容与网络攻击风险text/33-ch07-01-7-1-4.txt:33(搜「1.2%的ChatGPT Plus用户」)
三星的三起外泄7.1.1text/33-ch07-01-7-1-4.txt:39(搜「三星发生3起内部机密资料外泄」)
禁用 ChatGPT 的金融机构7.1.1text/33-ch07-01-7-1-4.txt:42(搜「花旗银行」)
幻觉的两种类型7.1.1text/33-ch07-01-7-1-4.txt:48(搜「Charles Lindbergh」)
幻觉的三层成因7.1.1text/33-ch07-01-7-1-4.txt:51(搜「数据源、训练过程和推理」)
三条应对7.1.1text/33-ch07-01-7-1-4.txt:63(搜「事实增强解码」)
网络安全威胁7.1.1text/33-ch07-01-7-1-4.txt:69(搜「网络攻击的“利器”」)
学术界的两派7.1.2 知识产权问题text/33-ch07-01-7-1-4.txt:86(搜「Antony Aumann」) · text/33-ch07-01-7-1-4.txt:89(搜「Ethan Mollick」)
盖蒂图片社的诉讼7.1.2text/33-ch07-01-7-1-4.txt:95(搜「盖蒂图片社」)
三位艺术家的集体诉讼7.1.2text/33-ch07-01-7-1-4.txt:98(搜「Sarah Andersen」)
美国版权局的声明7.1.2text/33-ch07-01-7-1-4.txt:107(搜「扎利亚的黎明」)
北京互联网法院的判决7.1.2text/33-ch07-01-7-1-4.txt:110(搜「北京互联网法院」)
情感计算的定义7.1.3 人工智能伦理问题text/33-ch07-01-7-1-4.txt:124(搜「Picard教授在1995年」)
比利时那起事件7.1.3text/33-ch07-01-7-1-4.txt:127(搜「伊莉莎」)
偏见与歧视的例子7.1.3text/33-ch07-01-7-1-4.txt:133(搜「女孩子的最佳结婚年龄」)
就业冲击的报告7.1.4 社会公平普惠text/33-ch07-01-7-1-4.txt:150(搜「AI大模型对我国劳动力市场潜在影响研究」)
公共安全与《纵深防御》7.1.4text/33-ch07-01-7-1-4.txt:156(搜「Gladstone」)
美国的三条线7.2.1 国外重点举措text/34-ch07-02-7-2.txt:28(搜「拜登总统于2023年签署首项人工智能监管行政令」) · text/34-ch07-02-7-2.txt:32(搜「治理体系正逐步成熟」)
欧盟与那段博弈7.2.1text/34-ch07-02-7-2.txt:38(搜「意大利个人数据保护局」)
七国集团与金砖国家7.2.1text/34-ch07-02-7-2.txt:50(搜「广岛人工智能进程」) · text/34-ch07-02-7-2.txt:53(搜「金砖国家」)
我国的政策脉络7.2.2 我国的监管与治理text/34-ch07-02-7-2.txt:67(搜「新一代人工智能发展规划」) · text/34-ch07-02-7-2.txt:73(搜「生成式人工智能服务管理暂行办法」) · text/34-ch07-02-7-2.txt:76(搜「全球人工智能治理倡议」)
前中后期三段思路7.2.2text/34-ch07-02-7-2.txt:79(搜「大规模预训练模型技术和应用评估方法」)
国内外的共同思路7.2.2text/34-ch07-02-7-2.txt:88(搜「尽可能减少事前准入限制」)
国际组织的作用超越国家7.3.1 治理主体text/35-ch07-03-7-3.txt:27(搜「国际组织在人工智能治理方面的作用已经超越国家」)
各国的监管机构调整7.3.1text/35-ch07-03-7-3.txt:36(搜「欧洲人工智能办公室」)
企业的三类举措7.3.1text/35-ch07-03-7-3.txt:45(搜「前沿模型论坛」) · text/35-ch07-03-7-3.txt:51(搜「人工智能治理：未来蓝图」)
敏捷治理的定义与三道坎7.3.2 治理方式text/35-ch07-03-7-3.txt:62(搜「边发展、边治理」)
美欧英的敏捷做法7.3.2text/35-ch07-03-7-3.txt:65(搜「按比例监管」)
为什么要第三方评测7.3.3 治理工具text/35-ch07-03-7-3.txt:76(搜「国内已公开发布的大模型产品超过300个」)
评测尚无统一标准7.3.3text/35-ch07-03-7-3.txt:85(搜「尚未完善且没有统一的标准」)
MMLU、C-Eval、FlagEval7.3.3text/35-ch07-03-7-3.txt:88(搜「MMLU是一种著名的大模型语义理解评测方法」) · text/35-ch07-03-7-3.txt:91(搜「C-Eval是一个全面的中文」) · text/35-ch07-03-7-3.txt:94(搜「FlagEval是由智源」)
软法与那处分歧7.3.4 治理机制text/35-ch07-03-7-3.txt:105(搜「以“软法”为引领」) · text/35-ch07-03-7-3.txt:111(搜「算法偏见和歧视」)
硬法的四条趋势7.3.4text/35-ch07-03-7-3.txt:120(搜「全球AI法律数量增加了36项」)
新质生产力与经济展望8.1text/37-ch08-01-8-1.txt:19(搜「高盛的预测」) · text/37-ch08-01-8-1.txt:22(搜「计算力指数每提升1点」) · text/37-ch08-01-8-1.txt:25(搜「效率至少提升47%」)
社会治理的两个例子8.2text/38-ch08-02-8-2.txt:19(搜「12345热线助手」) · text/38-ch08-02-8-2.txt:28(搜「SUMO」)
科研第五范式8.3text/39-ch08-03-8-3.txt:16(搜「第五范式」) · text/39-ch08-03-8-3.txt:19(搜「PandaOmics」)
黄仁勋那句话8.3text/39-ch08-03-8-3.txt:28(搜「14个地球」)
治理体系的四条展望8.4text/40-ch08-04-8-4-ai-ai.txt:19(搜「创新立法」) · text/40-ch08-04-8-4-ai-ai.txt:28(搜「灭绝级的威胁」)

Footnotes​

  1. 出处:「7.1.1」第 39 段(text/33-ch07-01-7-1-4.txt:39,搜「三星发生3起内部机密资料外泄」)。三起事件的具体经过都在这一段。 ↩ ↩2

  2. 出处:「7.1.1 数据、内容与网络攻击风险」第 33 段(text/33-ch07-01-7-1-4.txt:33,搜「1.2%的ChatGPT Plus用户」)。经过的完整描述也在同一段,书注明依据是 OpenAI 官网公告。 ↩

  3. 出处:「7.1.1」第 42 段(text/33-ch07-01-7-1-4.txt:42,搜「花旗银行」)。两侧的应对措施也在同一段。 ↩

  4. 出处:「7.1.1」第 48 段(text/33-ch07-01-7-1-4.txt:48,搜「事实性幻觉和忠实性幻觉」)与同段(搜「Charles Lindbergh」)。注意书里那个例子本身也写错了年份:原文写「1951 年月球先驱任务」,这是书用来演示模型编造的例子,不是书自己的错误陈述。 ↩

  5. 出处:「7.1.1」第 51 段(text/33-ch07-01-7-1-4.txt:51,搜「数据源、训练过程和推理」)、第 54 段(text/33-ch07-01-7-1-4.txt:54,搜「美国」)、第 57 段(text/33-ch07-01-7-1-4.txt:57,搜「超出预定义的能力边界」)、第 60 段(text/33-ch07-01-7-1-4.txt:60,搜「固有的抽样随机性」)。 ↩

  6. 出处:「7.1.1」第 63 段(text/33-ch07-01-7-1-4.txt:63,搜「事实增强解码」)。 ↩

  7. 出处:「7.1.1」第 69 段(text/33-ch07-01-7-1-4.txt:69,搜「网络攻击的“利器”」)与第 72 段(text/33-ch07-01-7-1-4.txt:72,搜「许多大模型生成的正常代码中也存在安全漏洞」)。 ↩ ↩2

  8. 出处:「7.1.2 大模型时代的知识产权问题」第 95 段(text/33-ch07-01-7-1-4.txt:95,搜「盖蒂图片社」)与第 98 段(text/33-ch07-01-7-1-4.txt:98,搜「Sarah Andersen」)。三位插画师是 Sarah Andersen、Kelly McKernan、Karla Ortiz,被告为三家生成式工具开发方。 ↩

  9. 出处:「7.1.2」第 107 段(text/33-ch07-01-7-1-4.txt:107,搜「扎利亚的黎明」)。原文还给了一个对照:用 Photoshop 创作的作品因为有人的直接参与,受保护。 ↩

  10. 出处:「7.1.2」第 110 段(text/33-ch07-01-7-1-4.txt:110,搜「北京互联网法院」)。书称这是我国首例涉 AI 文生图的著作权案件。 ↩

  11. 出处:「7.1.2」第 86 段(text/33-ch07-01-7-1-4.txt:86,搜「Antony Aumann」)与第 89 段(text/33-ch07-01-7-1-4.txt:89,搜「Ethan Mollick」)。《科学》与《自然》的立场也在第 86 段。 ↩

  12. 出处:「7.1.3 大模型时代的人工智能伦理问题」第 124 段(text/33-ch07-01-7-1-4.txt:124,搜「Picard教授在1995年」)。 ↩

  13. 出处:「7.1.3」第 127 段(text/33-ch07-01-7-1-4.txt:127,搜「伊莉莎」)。事件经过与那句回答都在这一段;书注明当事人的妻子与主治精神科医生均认为「没有这些对话,皮埃尔可能不会选择自杀」。 ↩

  14. 出处:「7.1.3」第 133 段(text/33-ch07-01-7-1-4.txt:133,搜「女孩子的最佳结婚年龄」)。 ↩

  15. 出处:「7.1.4 大模型给社会公平普惠带来冲击」第 150 段(text/33-ch07-01-7-1-4.txt:150,搜「AI大模型对我国劳动力市场潜在影响研究」)。 ↩

  16. 出处:「7.1.4」第 156 段(text/33-ch07-01-7-1-4.txt:156,搜「Gladstone」)。两侧的分析也在这一段。 ↩ ↩2

  17. 出处:「7.2.1 国外大模型监管与治理的重点举措」第 50 段(text/34-ch07-02-7-2.txt:50,搜「广岛人工智能进程」)与第 53 段(text/34-ch07-02-7-2.txt:53,搜「金砖国家」)。注意书对七国集团那一段带了明显立场:称其「实际上是发达国家意图通过七国集团等国际组织构建科技『小圈子』」——这是作者的判断,不是事实陈述。 ↩

  18. 出处:「7.3.1 治理主体」第 45 段(text/35-ch07-03-7-3.txt:45,搜「前沿模型论坛」)与第 48 段(text/35-ch07-03-7-3.txt:48,搜「AI办公室」)。 ↩

  19. 出处:「7.3.1」第 27 段(text/35-ch07-03-7-3.txt:27,搜「国际组织在人工智能治理方面的作用已经超越国家」)。 ↩

  20. 出处:「7.2.1」第 28 段(text/34-ch07-02-7-2.txt:28,搜「拜登总统于2023年签署首项人工智能监管行政令」)。该段还引了中国信通院《大模型治理蓝皮报告》作为依据。 ↩

  21. 出处:「7.2.1」第 32 段(text/34-ch07-02-7-2.txt:32,搜「治理体系正逐步成熟」)。 ↩

  22. 出处:「7.2.1」第 38 段(text/34-ch07-02-7-2.txt:38,搜「意大利个人数据保护局」)。同段完整记录了 OpenAI 首席执行官在欧洲的游说,以及 2023 年 6 月法案单独为生成式 AI 设条款、将其移出高风险清单这一结果。 ↩

  23. 出处:「7.2.2 我国出台相关政策法规」第 79 段(text/34-ch07-02-7-2.txt:79,搜「大规模预训练模型技术和应用评估方法」)。前中后期三段的划分就在这一段。 ↩

  24. 出处:「7.2.2」第 67 段(text/34-ch07-02-7-2.txt:67,搜「新一代人工智能发展规划」)、第 70 段(text/34-ch07-02-7-2.txt:70,搜「中华人民共和国网络安全法」)、第 73 段(text/34-ch07-02-7-2.txt:73,搜「生成式人工智能服务管理暂行办法」)、第 76 段(text/34-ch07-02-7-2.txt:76,搜「全球人工智能治理倡议」)。 ↩

  25. 出处:「7.2.2」第 88 段(text/34-ch07-02-7-2.txt:88,搜「尽可能减少事前准入限制」)。三处监管重点也在同一段。 ↩

  26. 出处:「7.3.2 治理方式:敏捷治理成为主流」第 62 段(text/35-ch07-03-7-3.txt:62,搜「边发展、边治理」)。敏捷治理由世界经济论坛提出这一条,以及三道坎(AI 自主演化控制困难、迭代快速跟进难、黑箱遮蔽追责难),都在这一段。 ↩ ↩2

  27. 出处:「7.3.2」第 65 段(text/35-ch07-03-7-3.txt:65,搜「按比例监管」)。欧盟人工智能办公室「定期更新将基础模型界定为大模型的判定标准」也在同一段。 ↩

  28. 出处:「7.3.3 治理工具」第 76 段(text/35-ch07-03-7-3.txt:76,搜「国内已公开发布的大模型产品超过300个」)。两条理由见第 79 段(text/35-ch07-03-7-3.txt:79,搜「需要第三方评测机构的参与」)与第 82 段(text/35-ch07-03-7-3.txt:82,搜「科学、系统的客观评测体系」)。 ↩

  29. 出处:「7.3.3」第 85 段(text/35-ch07-03-7-3.txt:85,搜「尚未完善且没有统一的标准」)。 ↩

  30. 出处:「7.3.3」第 88 段(text/35-ch07-03-7-3.txt:88,搜「MMLU是一种著名的大模型语义理解评测方法」)。 ↩

  31. 出处:「7.3.3」第 91 段(text/35-ch07-03-7-3.txt:91,搜「C-Eval是一个全面的中文」)。 ↩

  32. 出处:「7.3.3」第 94 段(text/35-ch07-03-7-3.txt:94,搜「FlagEval是由智源」)。 ↩

  33. 出处:「7.3.4 治理机制」第 105 段(text/35-ch07-03-7-3.txt:105,搜「以“软法”为引领」)与第 111 段(text/35-ch07-03-7-3.txt:111,搜「算法偏见和歧视」)。西方与发展中国家的分歧就在第 111 段。 ↩ ↩2

  34. 出处:「7.3.4」第 114 段(text/35-ch07-03-7-3.txt:114,搜「以“硬法”为底线」)与第 120 段(text/35-ch07-03-7-3.txt:120,搜「全球AI法律数量增加了36项」)。「要求公司删除根据不正当数据训练出来的算法」也在第 120 段末尾。 ↩ ↩2

  35. 出处:「8.3 大模型带来科研新范式」第 16 段(text/39-ch08-03-8-3.txt:16,搜「三千年前是经验范式」)。书的原话是:「三千年前是经验范式,四百年前是理论范式,五十年前是计算范式,十年前是数据范式,如今进入了 AI 范式时代」,并称之为「科研的第五范式」(英文说法「AI for science」)。补充(不在书里,来自通用知识):前四种范式这个数法通常追到图灵奖得主 Jim Gray 2007 年的演讲《第四范式》;「第五范式」不是学界公认的划分,是产业界顺着往下数出来的说法——当口号读可以,别当成有定论的科学史分期。 ↩

  36. 出处:「8.1 人工智能成为新质生产力的核心引擎」第 19 段(text/37-ch08-01-8-1.txt:19,搜「高盛的预测」)、第 22 段(text/37-ch08-01-8-1.txt:22,搜「计算力指数每提升1点」)、第 25 段(text/37-ch08-01-8-1.txt:25,搜「效率至少提升47%」)。「新质生产力」这个概念的出处是 2023 年 9 月 7 日的一次座谈会,见第 16 段(text/37-ch08-01-8-1.txt:16,搜「新质生产力」)。 ↩

  37. 出处:「8.2 人工智能将大幅提升社会治理能力」第 19 段(text/38-ch08-02-8-2.txt:19,搜「12345热线助手」)与第 28 段(text/38-ch08-02-8-2.txt:28,搜「SUMO」)。 ↩

  38. 出处:「8.3 大模型带来科研新范式」第 16 段(text/39-ch08-03-8-3.txt:16,搜「第五范式」)与第 19 段(text/39-ch08-03-8-3.txt:19,搜「PandaOmics」)。嗅觉图谱与那款读脑设备见第 22 段(text/39-ch08-03-8-3.txt:22,搜「BrainGPT」)。 ↩

  39. 出处:「8.4 AI治理体系将加快升级」第 19 段(text/40-ch08-04-8-4-ai-ai.txt:19,搜「创新立法」)与第 28 段(text/40-ch08-04-8-4-ai-ai.txt:28,搜「灭绝级的威胁」)。 ↩

  40. 出处:「8.3」第 28 段(text/39-ch08-03-8-3.txt:28,搜「14个地球」)。原文:「AI 的尽头是光伏和储能」,并补了「如果仅考虑计算机的耗能,需要消耗相当于 14 个地球的能源」。 ↩