安全 — 安全困境的新物种
这一章讲三件事: AI 为什么会拆掉国际秩序的老前提;军备竞赛在 AI 身上以什么新形态重演;以及战争本身会怎么变。 它在链条里的位置:第 04 章说国家会抢着用 AI 治理,这一章说国家与国家之间会发生什么——「都想赢」叠加「都看不清」,是全书最紧绷的一章。 生词当场解释。
1. 先看现象:均势这台老机器缺了个零件
这一节讲清楚国际秩序靠什么运转,才知道 AI 动了它的哪根轴。
几百年来,国际体系的安全靠一台叫均势的机器——它的意思是:没有一个国家强到能压倒所有其他国家,各方力量互相抵住,谁也不敢轻举妄动。书里对它的描述:人类一直在构建「越来越复杂的安排,从而任何一国无法绝对凌驾于他国之上」,这套安排延续至今1。而它能运转的前提条件只有一条:「参与者的内在力量势均力敌」2。
AI 入场的方式,恰好是抽掉这个前提。书里的原话:倘若 AI 成为实际自主的政治、外交和军事实体群体,「古老的均势势必会被一种毫无规则可言的新失衡取代」3。一个不对称的世界——有的国家把 AI 用进了决策层,有的没有——「会远比今日世界更难预卜」4。
更麻烦的是,机器不像人那样惦记输赢。书里的原话:机器——就目前而言——「不知胜利和荣誉为何物」,它们或许会打一场人类闻所未闻的战争:要么根本不诉诸战争,只做战略演算然后按结果转让领土;要么反过来,重结果、轻人命,把战争升级成绞肉机5。两种极端都悬在书里,因为它自己说不知道 AI 会选哪边。
2. 新心理战:连「对手有多强」都读不出来
这一节讲 AI 军备竞赛与以往军备竞赛的根本不同:信号失效。
先立一个旧词。安全困境,指的是:一方为自保而增强军力,另一方必然视之为威胁,也跟着增强——每一方的「防御」在对方眼里都是「进攻」,谁先松手谁危险。书里说,若每个社会都跟着生存直觉走、都想最大化单边实力,敌对双方的军队和情报机构将展开「一场迄今人类闻所未闻的心理战」;而且这个困境从今天起、到首个超级智能降临前的每一天都一直在场6。
心理战的新打法,书里列了三种真实感很强的手段:
| 手段 | 书里的描述 |
|---|---|
| 破坏+伪装 | 把传统病毒的毒性前所未有地加大,又「同样干净利索地伪装这些病毒」;先例是蠕虫病毒——据称被发现前已破坏了德黑兰五分之一的浓缩铀离心机7 |
| 认知战 | 劫持敌国媒体,制造海量合成虚假信息,鼓动公众反对本国发展 AI8 |
| 定点打击意志 | 瞄准对方首席科学家的私人情感关系,「想方设法让他深陷悲伤之中不能自拔」9 |
但这一节真正的重点不是攻击,是测量。军备竞赛要能稳定,前提是各方大致知道彼此的进度。而 AI 竞赛里,进度本身在消失:训练已迁入与外网断开的安全网络;有高管预期开发会移进「无法穿透的地堡」,由地堡内的核反应堆供电;数据中心正建到洋洋底,还将放上轨道;公司和国家日益「黑暗下来」,不再公开 AI 研究;甚至「故意公布误导性研究成果」,拿 AI 伪造以假乱真的材料10。
3. 主走查:弗廖罗夫 1942——一条信号的信息量
本走的机制全在一件事上:怎么从「对方不说话」读出「对方在干什么」。
1942 年,真实历史,书里的引述:
第 0 步 常态:核物理是公开发表的学问,论文照登
第 1 步 信号:苏联科学家格奥尔基·弗廖罗夫注意到,
美英两国「突然不再公开发表涉及原子裂变的科学论文」[^11]
第 2 步 推断:没有和平理由会让整个领域集体闭嘴
⟹ 结论:美国在造核弹
第 3 步 后果:推断成立——这就是曼哈顿计划
对照:今天同一个推断还成立吗?
第 0′ 步 常态:AI 研究本来就半公开(论文+开源+产品混着来)
第 1′ 步 信号消失:地堡、海底、轨道、断网训练,
连「不发声」本身都可以是伪装——
你不知道对方是没进展,还是在憋大的[^10]
第 2′ 步 推断失效:「黑暗下来」既可能是防御,
也可能是欺骗(书:故意公布误导性成果)
第 3′ 步 后果:各方只能按最坏假设行动
——书:身处第一线的行为体自动从最坏设想出发,
「把速度和保密置于安全之上」[^12]
图说:1942 年,「沉默」是一条高信息量的信号;
今天的 AI 竞赛里,沉默、发声、假发声都可以是策略,
信号系统整体失真。
信号失效往下滑,就是两级最危险的滑坡。第一级,「领先」失去意义:有人把自己模型规模当成「优势」,但一个更大的模型未必总胜过更小的对手——书里打的比方是,规模小而专一的 AI 用起来像「攻击一艘航母的无人机群:它们虽无力摧毁航母,但足以重创它」;而且能力跨领域互相驱动,惯常算出的任何「优势」也许都只是错觉11。第二级,时间压缩:即便某方领先几个月,「关键时刻一个核心领域内一次技术或理论上的骤然突破有可能颠覆所有参与者的地位」12——几个月的领先买不来安全。
最坏的一帧在书里写得明白:一个实力二流却不容小觑的行为体,一旦察觉更强的对手很快将获得碾轧一切的能力——哪怕它看走了眼——也可能先发制人,用电子或常规武器攻击对方,「从而引发一轮难以想象的升级和报复。相互毁灭的可能性随之螺旋式上升」13。
这漆黑画面里书留了一道缝:「含糊不清可以是培育对话的沃土」——正因为没人确知 AI 会把先机给谁,全球领导人才有一个机会窗口,在「人类共存的基础上」开始讨论14。军备控制的历史逻辑:谈,不是因为彼此信任,是因为都不瞎。
4. 四条出路,和作者押的那一条
这一节把书里给出的竞争管理方案一条条摆出来,并标出作者自己的选择。
| 出路 | 内容 | 书里的评估 |
|---|---|---|
| 单极化 | 领跑者把差距拉到别人认为不可消除 | 或能带来一段时间内的安稳预期,但「势均力敌的平衡不再是可取的」是巨大让步15 |
| 合并研发 | 竞争各方把研发合成一个单一事业 | 需要压制本能;落后者受益最大,领先者「无法容忍牺牲自己的领先地位」16 |
| 谈判分权 | 强者劝降,保证他方使用权 | 「人与人之间的承诺何曾地久天长过」;落实机制是未知数17 |
| 多元超级智能 | 世界上不止一个超级 AI,互相制衡 | 作者的判断:「世界上不会只有一个超级人工智能,而会有多种超级智能」,由它们(而非单一大国)维持平衡18 |
5. 外交:一门正在变科学的行当
这一节讲机器能不能做外交,书里给的理由出人意料地技术化。
书里的观察:外交谈判的表层是人的情感和心理,「表层下面的内核其实是应用博弈理论中的一种,而博弈理论又是数学的一个分支」——博弈论,研究「各方在不同策略组合下各得多少」的数学。所以外交诞生之初是艺术,「但它或许会日益变身为一门科学」,而且在识别妥协机会上可能超过好坏参半的人类外交记录19。书里给的现实注脚:DeepMind 和 Meta 的程序已能在「外交」主题的博弈游戏里胜过多数人类玩家20。
外交制度本身,书里提醒了一条千年共识的来历:它始于「在不同社会之间安全可靠地传递信息的需要」。波斯使节被斯巴达人扔进坑井,诸神降罚;蒙古使节被处死,成吉思汗剿灭花剌子模。血的教训攒出一条规矩——「了解信件内容也许比杀死信使好」:沟通渠道在战争期间尤其要保持畅通21。AI 之间的「外交」若要成立,大概也要先学这条。
6. 巴尔德尔的箭:防御必须万无一失
这一节用北欧神话讲「AI 管 AI」的必然性。
神话梗概:神后弗丽嘉为让儿子巴尔德尔百害不侵,走遍九界给万物施咒,唯独漏了最无害的槲寄生;恶神洛基骗出这个盲点,把槲寄生放上箭头,让盲眼的霍德尔射出——百害不侵的神被一支「最无害」的箭射死22。
书里自己把寓意挑明:「随着种种威胁越来越不透明,技术含量越来越高,人类应对威胁的防御手段也必须不断完善。一个最微不足道的小错或疏漏可能就会招致失败。为了做到万无一失,人类很可能需要人工智能的协助」23。防御的面要覆盖全部攻击面,而攻击面随技术扩散无限变大——只有 AI 的处理量(单位时间能过目多少信息)够这种查漏。
书里给了一个具体形状:个性化生物防御——往血管里放 AI 赋能的纳米机器人,凡是不匹配主人生物印记的东西都会被清除24 (原话见脚注)。然后它逼出本章最深的一句悖论:这个「脆弱世界」(借波斯特洛姆的词)很可能需要 AI 介入才能安全,「面对一个同时既需要人类继续管控,又禁止人类继续管控的未来,人类究竟如何是好?」25——需要 AI 防御,就意味着把管控权交出去一部分;这句话是第九章「AI 监督 AI」的伏笔。
7. 战争新模式:速度退役之后
这一节讲战争形态的胜负手更替,是本章的机制核心之二。
先立历史主线。书里的军事史观察:速度和机动性始终是军事装备性能最可预测的决定因素。1452 年,匈牙利工程师乌尔班向拜占庭皇帝献巨炮,皇帝没钱也没眼光,拒绝了;工程师转头去见土耳其苏丹,改进设计、增加机动性——「60 多头牛和 400 人就可以移动它」——土耳其军队仅用 55 天轰塌了千年的君士坦丁堡城墙26。此后:拿破仑的快速军团、毛奇的铁路调度、二战的闪电战,同一张王牌反复改写欧洲27。
数字时代,这张王牌退役了:「速度变成了瞬时」,地理不再制约,攻击方零伤亡保持机动28。无人机蜂群——许多小型无人机编成一个可以聚散、可以独立作战的整体——会「聚散自如,规模大小不限」29。书里的结论句:当速度和机动性不再是决定性的东西,能力差距将取决于三样——精度(打得多准)、瞬时效果、对战略的运用30。
胜负手更替改写战争的三个基本面:
| 基本面 | 过去 | AI 时代 |
|---|---|---|
| 评估什么 | 敌 方能力(兵力、装备) | 「着重评估敌方的意图」;核心问题:「人工智能赋能的指挥官会想要什么?」31 |
| 打什么 | 人的肉体与领土 | 数字基础设施;超级计算机分散藏匿以防「斩首攻击」32 |
| 怎么算输 | 伤亡惨重、武器打光 | 「硅盾」——保护己方技术资产的能力——失效,连带无力保护人类代理人33 |
然后是书里留下的问题,它没有答案:人类的克制发自自知之明和痛苦感,AI 没有痛苦——「什么会促使一个被引入战争的人工智能保持克制?如果一个下棋的机器人从未被告知比赛终结规则,它会一直下到只剩最后一个小卒吗?」34
8. 地缘政治的重构:土地换成了忠诚
这一节讲「国家」这个容器本身可能被换掉。
书里的出发点:主权民族国家体系(威斯特伐利亚体系)只有几百年历史,不 是天经地义的社会组织形式,「可能也不适合人工智能时代」35。它给出三种可能的未来:
- 公司积权:开发和拥有 AI 的公司积聚「可碾轧一切的社会、经济、军事和政治权力」;各国政府被迫在「私人公司的东道主和啦啦队长」与「平民百姓支持者」两个角色之间左右应付36;
- 公司同盟自立:这些同盟承担民族国家的传统职能,只是领地不是土地,而是「分散的数字互联网」;开源(代码公开、谁都能拿去改)扩散还会催生不甚完美但不容小觑的小团伙,其中可能掺入宗教因素——「宗教教派也许比国籍更能界定身份和忠诚」37;
- 新地盘:团体声索和争夺的不再是按尺寸计算的土地,「而是显示个体用户忠诚的数字设备」——公民概念被颠覆38。
三种未来共用的一个词是「忠诚」。书里在第 05 章结尾留了一个近乎温柔的收束:安全问题上,人类也许反而愿意接受一台第三方机器的不偏不倚,「就像世人都认为争吵不休的离婚大战需要一个调解者」——因为人类自私的本能,恰恰可能让人类为接受「AI 超越自身」做好准备39。
9. 作者的判断与证据(分开标)
| 书里的说法 | 性质 | 证据 |
|---|---|---|
| 均势前提(势均力敌)会被 AI 拆掉 | 机制推断 | 建立在均势定义上的逻辑推演 |
| 新心理战三手段 | 部分有据 | 蠕虫病毒是真实历史事件;AI 版本属推演 |
| 竞赛信号失真(地堡/海底/伪造) | 推测+迹象 | 断网训练、海底数据中心是书写作时的真实动向;地堡与伪造属推演 |
| 弗廖罗夫推断 | 史实 | 二战情报史公案,书里给了出处 |
| 多种超级智能互相制衡 | 推测(作者立场) | 书里明说「以上假设既非我们所愿,也非我们的预言」之后给出自己的判断 |
| 战争决胜因素换成精度与意图 | 机制推断 | 军事史类比(乌尔班大炮/铁路/闪电战)+数字战特点 |
| 宗教教派比国籍更能界定身份 | 推测 | 没有算得出数的支撑,属情景想象 |
10. 边界与局限
- 「机器不懂胜利和荣誉」可能过于乐观。 模型从人类语料里学目标,「荣誉」「羞辱」这类概念它学得到表征;书里自己也承认 AI 仍可能有自负、个性与忠诚这类表现,虽然性质也许与今天的相左40。
- 均势的消解是单向推演。 现实里各国也在建 AI 军备控制对话(书里提到基辛格最后的外交努力);「毫无规则的新失衡」是风险画面,不是预测。
- 无人机蜂群、光子武器都是未成熟技术。 书里的战争章节按「能力上限」写,不是按「部署现状」写;读时要把这两层分开。
- 「离婚调解者」的类比有边界。 调解者有管辖权和执行机制,跨国 AI 调停者两者都没有;书里自己用的措辞也只是「我们相信并希望」。
11. 可带走的
- 看军备竞赛,先看「进度信号」还在不在。 信号失真的竞赛比信号明确的竞赛危险得多——误判全部来自测量失效。
- 「领先几个月」在 AI 竞赛里不是护城河。 一次骤然突破能清零所有领先;把安全押在领先上,是最脆的策略。
- 优势可能是错觉。 大模型未必赢小模型;评估能力要按任务拆,不要按「谁的数大」比。
- AI 军控对话的机会窗口在「没人知道谁会赢」的阶段。 等到明朗,谈判筹码就没了——含糊是谈判之母。
- 战争的目标清单正在换页: 从人力、领土换成数据中心;「硅盾」成了新的国防纵深。
- 克制必须是设计出来的,不能指望痛感。 「终结规则」要写进系统,而不是等着它自己想明白。
- 忠诚的容器在换: 土地→设备。看懂「用户忠诚的数字设备」这句话,就看懂了平台、教派、国家三边争夺什么。
12. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 均势:不使一国凌驾他国 | 第五章 安全 | text/09-ch05.txt:13(搜「越来越复杂的安排」) |
| 势均力敌的前提 | 第五章 安全 | text/09-ch05.txt:24(搜「势均力敌」) |
| 毫无规则的新失衡 | 第五章 安全 | text/09-ch05.txt:21(搜「毫无规则可言的新失衡」) |
| 不知胜利和荣誉为何物 | 第五章 安全 | text/09-ch05.txt:32(搜「不知胜利和荣誉」) |
| 闻所未闻的战争 | 第五章 安全 | text/09-ch05.txt:33(搜「闻所未闻的战争」) |
| 闻所未闻的心理战 | 第五章 安全 | text/09-ch05.txt:59(搜「闻所未闻的心理战」) |
| 病毒加毒并伪装 | 第五章 安全 | text/09-ch05.txt:72(搜「传统病毒的毒性」) |
| 劫持媒体 | 第五章 安全 | text/09-ch05.txt:79(搜「劫持敌对国的媒体」) |
| 瞄准科学家情感 | 第五章 安全 | text/09-ch05.txt:81(搜「个人情感的关系」) |
| 地堡与海底数据中心 | 第五章 安全 | text/09-ch05.txt:92(搜「地堡」) · text/09-ch05.txt:93(搜「大洋洋底」) |
| 黑暗下来与伪造成果 | 第五章 安全 | text/09-ch05.txt:95(搜「黑暗下来」) |
| 弗廖罗夫的推断 | 第五章 安全 | text/09-ch05.txt:106(搜「弗廖罗夫」) |
| 无人机群重创航母 | 第五章 安全 | text/09-ch05.txt:112(搜「攻击一」) |
| 优势也许只是幻觉 | 第五章 安全 | text/09-ch05.txt:120(搜「幻觉」) |
| 一次骤然突破颠覆所有地位 | 第五章 安全 | text/09-ch05.txt:137(搜「骤然突破」) |
| 先发制人与螺旋升级 | 第五章 安全 | text/09-ch05.txt:183(搜「先发制人」) |
| 含糊不清培育对话 | 第五章 安全 | text/09-ch05.txt:187(搜「育对话的沃土」) |
| 单极化选项 | 第五章 安全 | text/09-ch05.txt:198(搜「单极化」) |
| 合并为单一事业 | 第五章 安全 | text/09-ch05.txt:206(搜「单一事业」) |
| 承诺何曾地久天长 | 第五章 安全 | text/09-ch05.txt:217(搜「的承诺何」) |
| 多种超级智能 | 第五章 安全 | text/09-ch05.txt:234(搜「多种超级智能」) |
| 外交内核是博弈论 | 第五章 安全 | text/09-ch05.txt:258(搜「博弈理论」) |
| 外交变身科学 | 第五章 安全 | text/09-ch05.txt:260(搜「变身为一门科学」) |
| 杀死信使的教训 | 第五章 安全 | text/09-ch05.txt:279(搜「杀死信使」) |
| 槲寄生之箭 | 第五章 安全 | text/09-ch05.txt:313(搜「槲寄生」) |
| 一个小错招致失败 | 第五章 安全 | text/09-ch05.txt:321(搜「最微不足道的小错」) |
| 血管里的纳米机器人 | 第五章 安全 | text/09-ch05.txt:335(搜「纳米机器人」) |
| 脆弱世界与管控悖论 | 第五章 安全 | text/09-ch05.txt:363(搜「脆弱世界」) · text/09-ch05.txt:365(搜「禁止人类继续管控」) |
| 乌尔班大炮 | 第五章 安全 | text/09-ch05.txt:379(搜「乌尔班大炮」) · text/09-ch05.txt:394(搜「55天」) |
| 闪电战 | 第五章 安全 | text/09-ch05.txt:401(搜「闪电战」) |
| 速度变成瞬时 | 第五章 安全 | text/09-ch05.txt:405(搜「速度变成了瞬时」) |
| 无人机蜂群 | 第五章 安全 | text/09-ch05.txt:413(搜「蜂群」) |
| 精度、瞬时效果、战略 | 第五章 安全 | text/09-ch05.txt:424(搜「精度、瞬时效果」) |
| 评估意图而非能力 | 第五章 安全 | text/09-ch05.txt:438(搜「会想要什么」) |
| 斩首攻击 | 第五章 安全 | text/09-ch05.txt:454(搜「斩首攻击」) |
| 硅盾失效 | 第五章 安全 | text/09-ch05.txt:457(搜「硅盾」) |
| 下棋机器人与小卒 | 第五章 安全 | text/09-ch05.txt:481(搜「后一个小卒吗」) |
| 威斯特伐利亚体系 | 第五章 安全 | text/09-ch05.txt:494(搜「威斯特伐 利亚体系」) |
| 东道主和啦啦队长 | 第五章 安全 | text/09-ch05.txt:509(搜「啦啦队长」) |
| 教派比国籍更能界定身份 | 第五章 安全 | text/09-ch05.txt:530(搜「宗教教派也许比国籍」) |
| 用户忠诚的数字设备 | 第五章 安全 | text/09-ch05.txt:535(搜「个体用户忠诚」) |
| 离婚大战的调解者 | 第五章 安全 | text/09-ch05.txt:600(搜「离婚大战」) |
| AI 也可能有个性与忠诚 | 第五章 安全 | text/09-ch05.txt:471(搜「个性和忠诚」) |