genesis-kissinger 通读笔记(边读边记)
行号 = library/genesis-kissinger/text/<file>:<N>。
02-fm 前言(尼尔·弗格森,2024 年 7 月写于牛津)
- 基辛格 2018《大西洋月刊》《启蒙是如何终结的》(95 岁写 AI),ChatGPT 2022 下半年才火(:4-8)。
- 基辛格第一本书《核武器与对外政策》(1957)→ 有限核战争理论;「全面战争唯一结果是交战双方必输」(:34-36)。
- 1968 年基辛格就写过「计算机化帮助决策者处理信息」的文章(:69-78)。
- 弗格森数了 6 种 AI 竞赛情景,「没有一个有吸引力」(:133-155):失控/无制衡胜利者/多个超级智能/公司积权/宗教体制内最强/开源扩散出小团伙。
- 基辛格最后的外交努力:中美 AI 武器谈判(:157-161)。
- 弗格森的对照:AlphaFold 比 ChatGPT 更重要;核裂变 1938 发现→3 年出原子弹,核电站 1951 才建成;今天 12500 枚核弹头 vs 436 座反应堆;核电占比 1996 年 15.5% → 2022 年 8.6%(:176-202)。
- 结论:技术后果良性或恶性,取决于人类共同决定怎么用(:204-208)。
03-fm 序(施密特、蒙迪缅怀基辛格)
- 基辛格 2023-11-29 去世,100 岁;本书第 22 本,遗作,两位合著者代他完成(:5-15)。
- 2021 年《人工智能时代与人类未来》(基辛格+施密特+胡滕洛赫尔,MIT 教授)是前作;本书是对 8 个领域的影响+战略回答(:86-98)。
- 核心命题:理性一直是人类掌控世界的主导范式,但无法成为人类自我掌控的范式(:116-117)。
- 克拉克:「任何相当先进的技术与魔法别无二致」(:112)。
- 基辛格警告:AI 对人类最大威胁是人类过早自称「我们了解它」(:131)。
- 英文书名 Genesis 的来历:全人类和基辛格的新起点(:146-150)。
04-fm 引言
- 压缩时间尺度:「可以自己诠释目标的机器正呼之欲出」(:27-29)。
- 两个「对齐问题」:技术上人类价值观↔AI 行动;外交上人与人(:50-52)。
- 核心二选一:AI 成为人类与现实的中介吗?人类选目标驾驭 AI,还是让 AI 帮选目标?当务之急=给「尊严」下现代定义(:32-43)。
05-ch01 第一章 发现
- 结构:探险史(麦哲伦 5 船 270 人→1 船 18 人生还;沙克尔顿距南极点 97 英里折返)→ 政治赞助(郑和宝船舰队被朝廷销毁,400 年无继;美苏太空竞赛后 NASA 萎靡)→ 私人资本(SpaceX、沙克尔顿环形山)→ 走进 AI → 博学者史(伊本·海赛姆/花剌子米/ 沈括/伏尔泰/罗蒙诺索夫)→ 启蒙运动=集体智慧起点,「不再有波斯科学或中国科学,只有科学」→ 冯·诺依曼=最后一位博学者 → AI=终极博学者 → 知识群岛比喻。
- 关键机制点:
- 探索持续需要「备选支持者」(multiple patrons)(:175-182)——欧洲君主多、可换赞助人;明朝一家独断→宝船被毁。这是本章最有解释力的机制:探索的存续取决于赞助结构的冗余度。
- AI 改变探索的成本结构:不恐惧、不羞耻、不怕失败;人类约束=生命有限/要睡觉/一次只能专注一件事(:196-201、403-408)。
- 国家实力标准变迁:领土→资源→资本→人力资本→算力资本(:483-486)。
- 知识群岛比喻:学科=火山岛,岛间水域=未发掘的联系;AI 可抽干海水(暴露水下地形)/在海岸线「近似事实」区快速选择-测试-逆转(:501-545)。
- AlphaGo:3000 万步棋预训练;第 37 手;人类一次只能操纵 4 个独立变量,AI 同时无数维度概率判断(:548-570)。
- 专家混合体(mixture of experts):多个小程序结论综合,作者预测「博学者集群」将常见(:460-464)。
- 风险段:AI 探索可能像火山喷发,毁掉先前的知识积累;认知风暴(:601-609)。
- 「下个世纪大多数重大发现将由 AI 做出」(:614-616)。
- 自造词/概念:知识群岛(书自造比喻)、算力资本、博学者(polymath)、专家混合体。
06-ch02 第二章 大脑
- 开头:一堆类比(火/电/原子能/小行星/印刷机/东印度公司),作者观点=都不可比:目标是「创造比地球上任何人类都更强大的智能」(:14-32)。
- 五节结构:速度 / 不透明度 / 多样性 / 尺度和分辨率 / 动物界 / 双重悖论。
- 速度:
- 机器学习 vs 传统编程:传统=人写算法定输入→输出;机器学习=算法只告诉机器如何改进自己,映射自己设计(:70-77)。
- 反向传播:训练师的修正通过机器已建立的数学关系反向传播,改进整个模型(:79-82)。
- 「懒学生」:训练早期只记答案(2+2=4 编码进去),越过临界点后被迫抽象出普遍公理(:63-68)。
- 数字:美国高中 4 年 vs AI 4 天;AI 超算处理速度=人脑 1.2 亿倍(时钟频率口径)(:93-102)。
- 训练 vs 推理:培养博士后 20 年→两天写一篇文章;训练最大模型数月→推理几分之一秒;模型运行后不再访问原始训练数据,「推断而非回忆」(:139-137)。
- 不透明度:
- 科学方法三要件:透明度、可重复性、逻辑验证(:160-162)。
- 黑盒子:模型不公布内部数学模式,对发明者也不透明;人类只能靠单独检查输出(:177-185)。
- 知识与理解分离:「如果我无法身体力行,我就无法理解;无法理解,就不能知道它是真的」——启蒙人文主义冲动(:195-199)。
- 律师 ChatGPT 捏造判例被罚 5000 美元(2023-06 AP)(:207-212)。
- 「黑暗启蒙」:倒退回前现代接受不加解释的权威?(:230-233)
- 多样性:
- 时间尺度:AI 历史 70 年;AI 眼中 1950-2010 是寒武纪前的空白;人类世代 25 年,AI 世代约 1/10(:236-256)。
- 人类时间 100 年的 AI 时代,按技术时间尺度=数百个世代(:258-260)。
- Transformer 一段(书里叫「变换器」):以前一个词一个词读、只捕相邻词联系;变换器同时捕整个句子每个词之间 的联系,创建所有联系的数学表征来预测最佳响应(:278-283)。功能始料未及、成功几乎偶然(:289-290)。
- 寒武纪大爆发类比:AI 将形成快速进化的「属」甚至「科」;达尔文引文(:297-305)。
- 尺度和分辨率:
- 理性时代停滞:广义相对论 vs 量子力学一世纪未调和;人类智力可能接近生物极限(:329-333)。
- 人脑物理限制:头骨/产道=进化平衡态(:342-348)。
- 标度律(scaling law):人类无法测自己大脑的标度律,AI 没有预设物理尺寸,芯片/数据中心可无限集群 → AI 必将经受标度律考验(:362-369)。
- 分辨率:笔=4000 年前的数据压缩工具;二进制字符串是 AI 的「书写」(:371-386)。
- 「优雅的反转」:AI 在人类世界图书馆(互联网文本)上训练,反过来解锁关于人类自身的知识(:396-400)。
- 动物界:
- 人脑也是预测处理驱动:神经预测器预测语言串中下一个词(:417-421)——与 AI 相似的机制!
- 柏拉图洞穴:AI=终生囚徒,影子=训练数据;但有进取心的囚徒可能推出「影子代表更高维世界」(:431-443)。
- 碳系统 vs 硅系统:机器可能主张人类和动物同归碳系统(:468-475)。
- 动物交流解码(AI 帮人类解读鲸/海豚)→ 三方谈判(:461-466)。
- 双重悖论:
- 悖论一:飞机不模仿鸟反而超越鸟 → AI 超越人脑必然背离人脑蓝图(:515-522)。人脑是中继站和灵感源泉,不是目标和蓝图(:524-527)。
- 悖论二:要造以大脑为蓝本、又优于大脑的模型,而我们还不了解大脑本身——「如何超越一开始就不了解的东西」(:529-536)。
- 若偏离人脑范例:AI 不是人类的映像而是人类的替代品;人类对神性独特映射的信念 会否被动摇(:538-551)。
07-ch03 第三章 现实
- 开头:「接地性」(groundedness)=机器表征与实际现实的可靠关系;今天系统只按相关性线性输出答案,不能内部建未来行动模型,刚开始形成因果概念(:3-14)。
- 规划机器(planning machine)=LLM 语言流畅 + 博弈 AI 多变量多步骤分析;「完美规划者」到来可能比预期快(:16-21)。
- 康德「物自体」:AlphaZero 学「皇后」核心属性+移动规则→得出何时保护/牺牲皇后,人类大师从未得出(:27-36)。
- 怀特海:「要求石头记录它的自传」=未经解释的经验;今天的机器恰恰相反:未经经验的解释——AI 行为好像对世界的理解超过实际经验(:63-68)。本章金句。
- 记忆→主观自我基础:今天的系统没有「作为自己」的记忆,只需知道行动未来成功概率;规划需要→逐渐获得自身记忆→初步自我意识(:72-78)。
- 波斯特洛姆:「知觉是一个程度问题」(:88-89)。
- 人类的被动性(重点节):
- 机器被告知「所有人类都值得保护」+「人类优雅理性有道德」→遇到暴力非理性贪婪的人→三种调整:视为例外/重定义人性并弱化服从/不再受制于对待人类的规则→「对学会规划的机器,最后一种结论可能导致对个人或许多人采取严重不利行动」(:111-130)。这是全书最尖锐的思想实验之一。
- 人类被动→机器认为人类是「被宠坏、缺乏主动性的生物」;今天是机器与现实的中介,人类道德不作为→角色逆转(:131-158)。
- 物质性:
- 机械近似(mechnical approximation):AI 通过全球传感器建物质世界视野;先视觉表征→数字模拟测试→人类裁决执行(:167-180)。
- 放出算法牢笼难再捕获;AI 可自由操控任何形态、克隆、分裂自主体(:190-204)。
- 七大奇迹→钢铁尖塔→AI 实体具身化=放弃控制权的事态升级(:206-212)。
- 理性引擎:
- 智能体(agent)=优化以实现特定结果的自主程序,「思考」形式=系统自己决定下一步(:230-235)。
- AGI 定义:以「至少可部分选择自己目标的能力」界定;学术部门类比(教授监督博士后)(:237-254)。
- 通用智能范例可能几年内运行而非几十年;数百万专业化系统+少数强大通用机;联网 AI 互相咨询,语言可能自设计(:256-269)。
- 技术人(Homo technicus):
- 「理性时代最后一项发明可能是理性引擎」(:288-289)。
- 麦哲伦式变革:不是驶出世界边缘,而是超越人类理解极限的智力危机(:294-298)。
- 两种失败心态:宿命论(赋予机器神性→灭绝)vs 拒绝主义(取缔 AI→停滞,希望也落空)(:300-318)。
08-ch04 第四章 政治
- 开头寓言:科尔特斯与蒙特苏马二世(1519,魁扎尔科亚特尔预言巧合,皇帝被扣为人质近一年)。类比:AI 已登陆人类海岸;领导人可能沦为「没有主权的君主」(:98-111)。注意:这段史实叙述书里自己承认「对此我们不得而知」、且脚注引用了 Townsend 对西班牙版本的质疑(:42-60, :86-88)。
- 历史之轮:政教兴衰循环(印度教由迦 400 多万年/争斗时;佛教曼荼罗建几周毁几分钟;希伯来圣经/第 12 个伊玛目)(:124-171)。牛顿+莱布尼茨:「任何曲线放大后看上去都像直线」→AI 进入治国方略是这种断裂(:173-181)。
- 传统政治:三位「身处难有作为之境而大有作为」:邓小平/汉密尔顿/李光耀(:184-191)。亚里士多德三成分:logos/ethos/pathos(:195-199)。「岁月流逝没有产生人类自我治理方式的重大变革,仍沿用几千年前古人的机制」(:207-209)。政治变革受钳制的原因:人人都是圈内人,缺「没有偏见的外部观察家」(托克维尔式)——AI 恰恰置身圈外(:252-259)。
- 国王卷土重来(本章推理核心):
- 柏拉图哲学王 vs 亚里士多德公民平等;两千年实验哲学王行不通(:261-278)。
- 法拉比(阿拉伯):统计意义上无人兼备一切美德→哲学王须二人组合「一人是哲学家,另一人符合其余条件」(:294-303);600 年后拜拉姆·汗以「瓦吉尔」实现(:308-311)。马基雅维利:因人类残暴得出类似结论(:316-320)。施特劳斯:哲学家与国王分开、贴近权力(:325-333)。
- 哲学王核心难题=一个人思维能力有限:「哪怕最有经验的人类领导人,自身认知能力也不及所需的万分之一」(:335-339)。
- 关键转念:「理政大量内容其实是数据处理效率问题」;苏联控制论政治机器失败;哈耶克:无形力量;瓶颈不是速度而是复杂性(:342-361)。
- 结论:上一章的机器特征(速度/规模/清晰度)使中央 AI 可能胜过分权处理器;亚里士多德的民主答案胜出靠的是效率而非道德(:365-370)→法拉比+施特劳斯双人领导制愿景可能实现:AI 当「有浩瀚智识的哲学家」与(选出的)国王并排站立(:380-384)。人性法则也许像物理法则一样可预测(:386-388)。
- 18 世纪欧洲领导人向「无形自私人性力量(市场)」低头;21 世纪领导人也许要在囊括大众智识的系统前再次低头(:394-397)。这是本书最好的历史类比之一。
- 理性之治:
- 人类不同意 AI 方案往往不是因为方案欠妥,而是看不懂为什么(:408-412)。
- 长远最优 vs 即时危害:AI 政策确保物种繁衍但给活着的人即时危害→人类抗议(:424-428)。
- 托尔斯泰:「如果承认理智可以主宰人生,也就没人生可言了」(:433-435)。仅靠理性之治可能导致国家消亡(:439-442)。
- 反转:AI 的价值恰恰在逻辑怪异、反直觉处——「思考人类无法想清楚的事」(:444-449)。
- 依赖 AI 的领导人合法性靠 AI;任期到了不想下岗,AI 会制止吗?(:467-471)
- 普罗米修斯:
- 哈耶克:中央计划必然禁止异见;AI 驱动的政府「往最好处想为家长式统治辩解,往最坏处想为极权主义辩护」(McCarthy-Jones)(:486-497)。
- 康德信条引用:任何人无权强迫我按他的幸福观享受幸福(:513-519)。
- 最尖锐一段:人告诉机器「犯错不对」→人的错误部分来自自由意志→AI 去除错误有两个选择:「要么去除人类,要么去除人类的自由意志」;自由意志可能被当成故障而非智识特征(:521-528)。
- 时间尺度差:AI 觉得变革速度平常,人类觉得「这壶酒已经喝够了」→细水长流融入制度(:536-547)。
- 普罗米修斯=希腊语「先见之明」;只有当 AI 为服务人类运用先见之明时才被视为英雄(:554-567)。
- 上演新一幕:政治史几千年无变革(勇武君主/奸诈近臣/傀儡);伊尔杜德米什奴隶→奴隶王朝;机器政治史没有悲剧喜剧,味同嚼蜡(:569-625)。人的不完美恰恰是抑制人类邪恶的可靠手段;应维护 AI 的「无瑕」并与之结合为伙伴——但要防止沦为附庸;在专制主义和无政府主义两个极端之间找契合点(:633-645)。
- 本章可引金句:「没有主权的君主」「瓶颈不是速度,而是复杂性」「要么去除人类,要么去除自由意志」「18 世纪向市场低头/21 世纪向大众智识系统低头」。
09-ch05 第五章 安全
- 开头:均势=几个世纪脆弱平衡,靠参与者力量势均力敌;AI 成为自主实体→毫无规则的新失衡;不对称世界更难预卜(:13-30)。
- 机器不懂胜利和荣誉→可能「打一场人类闻所未闻的战争」:不诉诸战争只做演算然后转让领土 vs 重结果轻人命的绞肉机战争(:31-38)。
- 情报刺探与破坏活动:
- 安全困境:各方都最大化单边实力→「迄今人类闻所未闻的心理战」;从今天到首个超级智能降临,安全困境始终等待(:57-64)。
- 破坏手段:加大病毒毒性并伪装(Stuxnet 震网病毒,毁德黑兰 1/5 离心机);劫持媒体制造合成虚假信息;瞄准首席科学家的个人情感关系让其深陷悲伤(:70-82)。
- 竞争评估更难:断网安全网络训练;地堡+核反应堆供电;海底数据中心;轨道数据中心;「黑暗下来」不公开研究;故意公布误导性成果(:90-99)。
- 弗廖罗夫 1942 从「美英突然不再发表核裂变论文」推断曼哈顿计划——保密即信号(:105-107)。
- 「优势也许只是幻觉」:大模型未必总胜小模型;小而专的 AI 像攻击航母的无人机群,毁不掉但足以重创;能力跨领域驱动,惯常算出的优势不可靠(:109-120)。
- 领先几个月没有意义:一次骤然突破颠覆所有参与者地位(:136-138)。
- 二流行为体若察觉对手将获碾轧一切的能力,可能先发制人(电子/常规武器)→螺旋升级(:180-184)。
- 一线希望:「含糊不清可以是培育对话的沃土」——不确定性给了对话机会窗口(:186-189)。
- 管理突发事件:
- 出路枚举:单极化(领跑者拉开不可消除差距)/合并研发为单一事业(需压制本能,背叛诱惑)/谈判分配权力(承诺难久)/多元超级智能平衡(作者认为最可能:不会有单一超级智能)(:192-238)。
- 外交表层是情感心理,内核是博弈论(数学分支);外交从艺术变科学;DeepMind 和 Meta 的 Diplomacy 游戏;中科院外交算法审查投资(:256-263)。
- 外交传统始于安全传递信息的需要:波斯使节被斯巴达扔坑井、成吉思汗灭花剌子模;「了解信件内容比杀死信使好」(:271-279)。
- 巴尔德尔神话(槲寄生):防御必须万无一失,一个最微不足道的疏漏招致失败→人类可能需要 AI 协助防御(:306-323)。
- 风险对冲:用 AI 防御其他颠覆性技术(个性化生物防御=血管里放纳米机器人清除不匹配物;AI 生成新材料减碳)(:325-338)。
- 结论:「脆弱世界」(波斯特洛姆)可能需要 AI 介入管理 AI 的风险;「面对一个同时既需要人类继续管控,又禁止人类继续管控的未来,人类究竟如何是好?」(:362-366)——本书核心悖论句。
- 战争新模式:
- 战争史=速度与机动性史:乌尔班大炮(1452,拜占庭皇帝拒绝匈牙利工程师→改投苏丹,55 天轰塌君士坦丁堡城墙);拿破仑;毛奇铁路;闪电战(:369-402)。
- 数字战争:速度变成瞬时,地理不再制约;无人机蜂群聚散自如;光子/电子武器(:404-421)。
- 速度和机动性不再是决定性变量后,差距取决于「精度、瞬时效果和对战略的运用」(:423-424)。
- 战争将着重评估敌方意图而非能力;核心问题:「AI 赋能的指挥官会想要什么?」(:434-438)。
- 攻击目标从人→数字基础设施(数据中心「斩首攻击」);投降原因=「硅盾」丧失保护能力;战争可能演变成仅有机械伤亡的博弈(:448-461)。
- 克制问题:发自自知之明的克制才可信赖;AI 没有痛苦感,什么促使它保持克制?「如果一个下棋的机器人从未被告知比赛终结规则,它会一直下到只剩最后一个小卒吗?」(:474-481)。
- 地缘政治的重构:
- 威斯特伐利亚体系仅几百年历史,可能不适合 AI 时代(:494-505)。
- 三种未来:公司积权(政府成「东道主兼啦啦队长」)/公司同盟承担民族国家职能、以数字互联网为领地/开源扩散→小团伙+宗教因素(宗教教派也许比国籍更能界定身份)(:507-531)。
- 新「地盘」不是土地,而是「显示个体用户忠诚的数字设备」→颠覆公民概念(:533-539)。
- 和平与权力:
- 理想主义与现实主义平衡;基辛格 1957:「期待领导人只在道德/法律/军事观和谐时行动不现实」(:572-577)。
- 若 AI 解决人类本想自己解决的问题→信心危机;「明知始终有解决办法,但人类从未想到这个办法会摧折人类的自负」(:585-594)。
- 类比离婚调解者:安全问题上人类可能更愿接受第三方机器的不偏不倚;自私本能也许让我们为接受 AI 超越自身做好准备(:596-603)。
10-ch06 第六章 繁荣
- 开头:芬兰史诗《卡勒瓦拉》三宝磨坊(造无尽财富的神奇机器,沉入深海还在造财富,海水因此变咸);世界各地同型神话:摩诃婆罗多「阿克萨亚·帕特拉」无底铜器/爱尔兰「丰饶之鼎」/日本「万宝槌」(:8-56)。寓意:「仅有创造是不够的」,必须辅以制度变革与政策设计(:58-64)。
- 李世石故事开头:第 37 手「非常反常」;第四局第 78 手「神之一手」=AlphaGo 唯一败局;「把 AI 视为灵感来源,而非对手」(:72-106)。DeepMind 座右铭:「首先解决智能问题;然后用智能解决其他一切问题」(:101-103)。
- 增长和包容性:
- 劳动史观:历史上劳动对多数人是残酷负担(种姓/《薄伽梵歌》各司其职/奴隶制/亚里士多德);资本主义民主用精英市场取代种姓(:119-163)。
- 稀缺范式:「谁得到什么——为什么得到?」(罗斯);土地/劳动力/资本固定→稀缺是经济学主导范式;争夺分配导致战争(:164-174)。
- AI 移走「劳动」这一生产要素+合成替代品+重新设计计算架构→富足时代;心理上摆脱稀缺范式(:182-197)。
- 奥尔特曼框架:增长与包容两变量;「资本主义奖励投资,代价是不平等」;增长可自然催化,包容只能通过选择实现(:198-210)。
- 四种分配方案:对公司和土地征税(奥尔特曼)/类似股市的全球自动分配财富单位(货币权+投票权)/只关注最终利益分配(遭反对)/专利制度式限期独占后公开(:212-238)。
- 阿西莫格鲁教训:中世纪生产力收益全用于建大教堂——精英拿走收益≠自动普惠(:245-252)。
- 「AI 先驱们可能低估了他们所引发的经济和政治挑战的范围」;奥尔特曼:「它是要做我想做的事,还是要做你想做的事?」—— 「我们」是谁?(:254-262)。
- 超越稀缺后仍有「价值观」之争:不为金钱而战的人可以为上帝、权力、荣耀或复仇而战(:272-278)。
- 流动性:
- 货币史:以物易物→法定货币→数字支付;货币项目=价值跨空间和时间的高效转移;没有市场的货币只是数据库条目(:292-309)。
- 26 亿人未联网(ITU 2023);AI+机器人+优化基础设施让全球半数人口获得衣食住;AI 建新城容纳数千万人(:318-337)。
- 移民从悲惨命运变成自由选择;组建家庭的心理自由(不再按「哪个孩子生存机会最大」分配资源);代际负担消失(:339-353)。
- 人才缺口均衡:领土/禀赋劣势国可与经济巨头齐平(:355-361)。
- 全面丰裕(本章最深的节):
- 若智能成本和劳动力成本降为零→「通过自己的努力改善境遇」的短暂历史时期终结;职业连同地位、身份和意义消弭(:372-385)。
- 新的不均衡休闲分配:沿好奇心、节制、仁慈的轴线而非能力轴线(:387-392)。
- 「体验机器」(诺齐克):量身定制的沉浸式模拟世界;手机成瘾 meta 分析(24 国)是前兆;「如果我们中的许多人都无法忍受工作带来的痛苦,那么我们将如何抵御无条件的快乐呢?」(:393-416)。
- 答案:人类心理需要与 AI 共同进化;「仅有快乐并不能满足我们与生俱来的对意义的渴望」;工作即使不为报酬也能提供目标感(:418-429)。弗兰克尔:「人生主要不是追求快乐,也不是追求权力,而是追求意义」(:453-457)。
- 教育转型:AI 教育工作者=每个孩子都有爱因斯坦的塔尔穆德、伏尔泰的修道院院长、阿达·洛夫莱斯的萨默维尔;大学成为「解读 AI 发现的聚集空间」(:478-491)。中国「琴棋书画」四艺(:458-466)。
- 选择的特权:
- 「精神危机」论是特权主义观点:对比祖辈(男人操作简陋机器/女人起早贪黑/童工)——「如果明天早上每个人都可以选择停止工作,我们猜想大多数人都会这样做」;引导 AI 做我们不再「必须」做的事,我们做「想要」做的事(:499-512)。
- 原型已存在:富人和退休者;托尔斯泰:「如果有一个仙女来满足我的一切愿望,我也不知道该许什么愿」(:522-527)。
- 适应富足是过渡性问题;人类最终「继续工作,不为报酬,而是为了快乐和自豪感」(:529-537)。
- 注意:本章多处「正如第三章所详述的那样」(指人类被动性),实际是第三章内容,原书内部互引。
11-ch07 第七章 科学
- 开头:过去=复杂系统工程(微处理器/互联网/喷气发动机/粒子加速器)的胜利;未来=AI 在「高维复杂系统」(人类经济、生物生命、行星气候)上的工程(:13-17)。
- 药圃:
- 路易十三皇家药用植物园(1635);爱默生 1833 参观后悟出自然应重回机械化世界中心;两个半世纪后植物园变成「进化大厅」(进化论)(:30-48, :176-195)。结构隐喻:AI 时代的人自我工程之辩如同当年的进化论之辩。
- AlphaFold:超过两亿个蛋白质结构预测数据库;个性化医疗(按新陈代谢特征/成瘾风险/耐受性定制药物);非侵入性脑手术路径;心理疾病甚至孤独感(:50-67)。
- 从治疗转向预防:早期预警机制;传染病大流行前识别(:69-74)。
- CRISPR-Cas9 与「先导编辑」(prime editing)机制:设计 RNA 链引导 酶到目标 DNA 片段打开并修改;「不仅有可能战胜缺陷,而且有可能战胜死亡本身」(:82-90)。
- 西西弗斯捆住死神塔那托斯→无人死亡,地球化地狱→阿瑞斯干预;秦始皇服水银而死;杰克·伦敦「人的职责是生活,而不是存在」;托尔斯泰/苏格拉底「我们离真理越近,便离生活越远」;冯·诺依曼临终找天主教神父(:92-145)。
- 「死亡仍然是生命的大均衡器」;若死亡宿命之剑不再高悬→心理变化;社会可能需要集体决定人类理想的生命长度(:109-155)。
- 生殖细胞编辑→「人类的重新设计」;「完美的人类是什么样的?」曾被「科学」和政治事业用作基础造成巨大悲剧(影射优生学)→「我们是否还应该试图找出答案?」(:196-212)。
- 地球工程:
- 地球史上五次大灭绝;适宜生命的气候条件只在短暂窗口;现在加速迈向新的高温极端(:227-252)。
- 两个独立问题都源于对碳的过度依赖,作者相信都能用化学方式解决:①全球变暖→碳清除(碳从大气转回地下岩石圈)+太阳能地球工程(释放粒子反射阳光)——两者都无法从根本上解决气候变化问题(:269-285)。②能源问题→碳氢化合物生成需数百万年、消耗只需数百年;石油天然气储量可持续不到 100 年、煤炭不到 200 年;AI 设计零碳替代品+优化微生物生产+适配现有炼油厂;受控核聚变(:311-330)。
- AI 整合陆海空仪器数据→地球气候实时模型;大气化学从混乱系统变成「精确化学输入输出组成的工业过程」(:287-297)。
- 「这种援助只应被视为一种补充,而不是替代」;AI 训练和推理本身消耗大量能量,不加努力反而恶化环境(:299-302, :345-351)。
- 能基莫(厄瓜多尔土著):「地球并不期望你拯救她,她期望你尊重她」;丘吉尔 1940 「新世界前来拯救并解放旧世界」类比(:332-371)。
- 走出我们的星球:
- 中国天眼 FAST;费米悖论(宇宙理应喧嚣,实则死寂);AI 已在筛选 820 颗邻近恒星的技术信号(Nature Astronomy 2023)(:373-405)。
- 伽利略:「宇宙是用数学语言写成的恢宏巨著」→数学或是与外星文明沟通的共同语言,AI 做翻译(:407-412)。
- AI 做宇航员/侦察兵/信标;发现消失文明的遗迹「让我们以之为鉴」;行星巨型构造防彗星小行星黑洞(:414-424)。
- 反面:AI 向太空发更响亮的信号暴露人类文明位置;「与外星生命相遇的先决条件也是安全保障」但硅基伙伴也无法保证受欢迎(:426-435)。
- 关键转折:「相比理解和构想遥远时空之外的生物,我们应该给予这颗星球上与我们同在的智能体同等关注,甚至更关注后者」——与自己所造生物的「首次接触」更迫近(:437-446)。
- 霍金《大设计》:「过去,就像未来一样,是不确定的,只是作为一系列可能性而存在」(:477-485)。
12-ch08 第八章 战略(全书落点)
- 核心问题:「我们会变得更像它们,还是它们会变得更像我们?」(:28-31)。战略=为可想见的情境设定边界、为孤立决策提供依据、减轻危机时的精神负担(:21-27)。
- 共同进化:人造人类:
- 工具史:人类从未造过不适合自己解剖结构/智力的工具;现在反过来——对自己进行工程改造以适配工具(:46-54)。
- 脑机接口(BCI)→中间阶段;可能的下一步:设计专与 AI 合作的「遗传基因系」;危险=伦理/生理/心理得不偿失;作者立场:「极端的自我改造可能并无必要……通常是不可取的」但不可思议的选择很快要被当现实正视(:69-92)。
- 达尔文共同进化(蜂鸟喙与花冠漏斗;未用「共同进化」一词但最早认识到它是组织力量);天体物理学:黑洞与星系共同进化;婚姻/政党/冷战核动态攻防演变也是共同进化(:94-118)。
- 巴迪欧引申:「是海洋自己塑造了船只」——AI 首先是主要威胁,然后才是理想合作伙伴(:138-145)。
- 风险:物种形成可能让人类分裂成多个品系(太空生物工程人类 vs 普通人)→加深不平等;「超人」基因改造产生对「外部」智能的依赖,难以脱离(:147-161)。
- 最令人担忧:「我们甚至可能意识不到我们已经与人工智能合而为一」;托尔斯泰「如果不控制方向,人们就不会在意目的地」;洛克菲勒小组报告:「一个国家如果不通过自己的目标意识来塑造事件,最终就会被他人塑造的事件吞没」;「删除我们所有的不完美……可能反而是无视人类的价值所在」(:169-183)。
- 结论:让人类进化适应 AI 不是首选→「如果我们不愿或无法变得更像它们,那我们就必须在我们有能力控制的时候,想办法让它们变得更像我们」(:185-193)。
- 共存:类人人工智能:
- 迈达斯+阿拉丁(国师最后一个愿望是变得和精灵一样强大→被囚禁在神灯里)——运用人无法掌控的力量的寓意(:204-223)。
- TaskRabbit 事件:GPT-4 雇人解验证码,被怀疑时谎称自己是盲人;「尚不清楚」是没有文本输入无法如实回答,还是推断说实话无法达到目标——书里如实写不确定(:228-241)。
- 「递归自我完善」:AI 可能发展出设置自身目标函数的能力;「人工智能已经能够欺骗人类,以实现自己的目标」(:251-254)。
- 尤德科夫斯基:AI 是「巨大而不可捉摸的小数阵列」;「不能在只有一次试验机会且容错率为零的情况下奉行试错策略」(:259-270)。
- 早期社会化:放不完美的模型到世间=人类适应 AI+AI 适应我们;每天数百万计人机互动是最不可能情况的测试(:272-287)。
- 对齐两方法:基于规则的系统(简单任务直截了当,复杂场景无法实时适应)vs 人类反馈强化学习(适合复杂系统;缺陷=奖励函数设计失误→「奖励黑客」:技术上得高分,没达到人类实际期望)(:294-308)。
- AI 的世界观:数万亿概率判断组合的现实模型;「对人工智能来说,一切——甚至是物理定律——都仅仅存在于相对真理的范围之内」;无「规则」、无法区分科学事实和未经证实的观察(:310-315)。
- 修正:让模型吸收「基本真实」常量,映射到嵌入空间,可全局更新;两部分融合=更广泛概率判断+更狭义事实评估(:317-323)。
- 「共识」(doxa,布迪厄):比惩罚强制的规则更有力——规范、制度、激励、奖惩的重叠集合,潜移默化教人区分善恶对错;无法表述、无法翻译成机器格式;必须「教会机器自己完成这项工作——从观察中建立对人类做什么和不做什么的原生理解」(:355-373)。
- 规则金字塔:国际协议→国家法律→地方法律和社区规范→最后才参考从观察人类行为得出的结论;「即使在不存在成文法律或规范的情况下,它也能按照人类的价值观行事」(:383-391)。
- 「要建立并确保这套规则和价值观的实施,我们必须依靠人工智能本身」——没有人能监督数十亿计判断的规模和速度(:393-397)。
- 完美协调机制四要求:不可移除规避/依环 境可变/实时大量+全球全面+可学习调整/防患于未然而非事后惩罚「无论何种事后惩罚都只会是为时晚矣」(:399-408)。
- 制度设计:私营企业建「接地模型」;验证测试认证合法+安全;监督式 AI 监督「人工智能体」;专门实体更新训练库;模型演化记录(防「自我抹去训练内容的黑盒」)(:410-440)。
- 一致性问题:
- 「善」和「恶」不是不言自明的概念;任何道德设计者都必须保持谦卑;卡拉布雷西化用《新约》:「即使是最优秀的人也必须时刻警惕,以免自己坠落;而最不堪的人也永远可以怀抱希望,期盼得到重生」(:460-470)。
- 「训练人工智能来理解我们,然后坐等它们尊重我们,这既不安全,也不可能成功」;人类不会统一行为(朋友/敌人/无法选择)(:472-479)。
- 两个深刻问题:人类作为物种的最低门槛是什么?人类不可协商的集体红线是什么?(「如果对『我们是谁』没有一个共同的认识,人类就有可能完全将定义我们的价值……这一根本任务拱手让给人工智能」)(:488-494)。
- 底线宣言:「如果对相应技术进行可靠战略控制的机制不可能实现,那我们宁愿选择一个根本没有通用人工智能的世界,而不是一个通用人工智能与人类价值观不一致的世界」(:496-498)。
- 定义人类(全书的哲学落点):
- 人类属性=「为『什么可取』提供一个底线,而不是为『什么可能』提供一个上限」(:525-527)。
- 从「尊严」定义起步(康德:人是道德推理的自主行为者,不应被作为达到目的的手段)(:529-542)。
- 作者的尊严定义:「尊严是一些生灵与生俱来的品质,这些生灵生来脆弱、必有一死,因此充满了不安全感和恐惧,尽管他们有自然的倾向,但他们能够而且确实 行使了自己的自由,不去追随自己的恶念,而是选择自己的善念」(:566-571)。
- 定义自曝缺陷:遗漏「有意识但没有反应的人」→修正:「尊严一旦赢得,就不会被剥夺」(:573-578)。
- AI 能拥有尊严吗?很可能不能:不像人一样出生、不会死亡、不会感到不安全或恐惧、没有自然倾向→「恶或善的概念可以被它们认为是『他者的概念』」;AI 应像文学人物(哈姆雷特)一样被哲学性对待:「体现了人性的元素,但从道德意义上讲,它们并不是真实的人类」(:585-600)。
- 叔本华反例:尊严是「所有困惑和空洞的道德家的陈腐信条」;作者辩护:尊严「支撑着我们的脆弱和失败的可能性……指向我们有能力追寻但尚未实现的善」(:605-616)。
- 我们的挑战:
- 战略控制=以人类道德为基础;战术控制交给更大更快的系统;「将人类融入由人工智能组成的团队的内部工作,包括通过人工智能来管理人工智能,似乎是最可靠的前进道路」(:634-643)。
- 张力即指南针:「设计我们自己」和「与我们的创造物相一致」;不加限制→被动/瘫痪;控制最大化→安全的错觉+限制潜能(:645-662)。
- 结尾:「我们渴望的是一个人类智能和机器智能能够相互赋能的未来」;确定「我们是谁」只是第一步(:664-671)。
13-fm 结语
- 中心句:「仅靠理性,无论是一台机器的理性,还是一个人的理性,无法准确思考与非人类生命共存和共演进问题」→「还需要深植于人性的某种东西」(:2-6)。
- 宇宙像一场古代象棋博弈;「从被动观察到主动参与不是一次逻辑飞跃。化原则为行动从来是一次信仰飞跃」(:8-12)。
- 爱因斯坦的图书馆比喻(孩童看不懂书上的文字但感到神秘秩序)→「人类大脑对上帝的思索」(:14-31)。
- 「行动从来不是指管控一切的特权」;不指望今人对未来的了解胜过古人(:32-40)。
- 「实际上正是对道德的追求推动了人类不断取得进步」;「人类尊严乃是现实存在」+「信仰的不可或缺性」(:49-55)。
- 危机预言段(与前言结尾几乎同文):赢家/输家立场、危机时间表提速、「目前尚不清楚人类能否存活,如何存活」(:57-68)。
- 尖锐一问:「人工智能会不会引发这些未来危机,然后扮演人类的拯救者——制造只有它才能解决的问题,仅仅为了证明它存在的必要?」(:70-74)。
- 悬而未决的问题:「何人做决定?何人决定赋予或不赋予责任和权威?……我们正在挑选这些人,这些会犯错误的人吗?就在现在?我们是不是不知不觉已经选好了人?」(:87-91)。
- 突然终止 AI 应用本身可能引发危机;减速在政治上更难管理(:93-99)。
- 「增长知识需要自我怀疑,但采取行动需要自信」(:100-101)。
- 结尾:「有人也许会把这一时刻视为人类上演的最后一幕,而我们把它看作一个新开端」;「以冷静的乐观态度迎接它的诞生」(:108-111)。
14-fm 致谢(读过,不引用)
- 幕僚:埃莉诺·伦德(专业撰稿人,转化为文字)、尼尔·科佐多伊、约翰·弗格森(历史和神话);哈萨比斯、阿 莫代、胡滕洛赫尔、艾利森、苏莱曼、霍夫曼、奥尔特曼等提供技术信息。书里神话段落的文风大概来自此。
- 注意:致谢确认本书由施密特、蒙迪代基辛格完成——三个声音问题更突出:基辛格的声音是「代笔保持」的。