造假与审核 — GAN 造出来的世界,和追不上它的 Facebook
这一章讲三件事: GAN 的机制——它为什么能从一句酒话变成「过去 20 年深度学习领域 最酷的想法」;它三年之内从学术演示走进公共生活的全过程(假脸、假视频、假声音, 「深度造假」一词进入词典);以及 Facebook 的故事——为什么一个雇了两万人审查内容的 公司,在结构上注定追不上用同种技术造假的人。 这两半是同一枚硬币:生成与鉴别互为对手,而这场对抗里进攻方跑得更快。
1. 顶层全景:一场自己跟自己的军备竞赛
前几章的神经网络都在做同一件事:看图、听音,然后判断——这是猫、这句话词错率多少、 这手棋好不好。本章的机制反过来了:让网络生成——画出一张不存在的脸、 写出一段没说过的话。问题是:生成出来的东西好不好,谁来判?
古德费洛的答案是:再造一个网络来判。 一个负责造假,一个负责鉴别, 两个网络互为对手、交替升级——这就是「生成对抗网络」(GAN:Generative Adversarial Network)1。这套机制的深意要到本章后半才完全显形:
GAN 的内部结构 = 后来整个社会的结构
生成器:造出越来越像的假货 造假者:假脸、假视频、假声音、假新闻
↑ 被骗过就改,没骗过也改 ↑ 工具越来越好、越来越便宜
判别器:学会越来越刁的鉴别 审核方:Facebook 的两万合同工、检测竞赛
↑ 追上生成器就赢一轮 ↑ 永远在追上一轮的水平
——两边都越练越强 ——但进攻方只需要赢一次,防守方要赢每一次
图说:左半是 2013 年一间酒吧里想出来的机制;右半是 2016-2019 年
真实发生的事。同一枚硬币的两面,这是本章把原书两章(13 与 17)合并的理由。
2. 主走查:GAN 的一轮对抗,从酒吧到当夜跑通
背景: 2013 年,古德费洛在蒙特利尔读博士(导师本吉奥)。他的博士评审组里 被请了杨立昆——这在当时是失误,因为神经网络还不被主流承认;有段时间 「他在大部分时间里都坐在那里画小象」,研究进展不顺2。
那一晚: 研究生生涯尾声,朋友们在酒吧给他办告别派对,酒吧名叫「三位酿酒师」。 酒桌上大家讨论「怎么让计算机自己生成照片」——主流想法是先统计真实照片里 每个像素出现的规律,再照着生成。古德费洛微醺中提出另一个办法:用两个网络。 朋友们说不行。他后来说:「我的朋友们错了!」他不停地念叨这句话3。
当夜回到单间公寓(女朋友已睡在旁边),他写下代码,几小时内跑通[^4]:
[第 0 轮] 生成器:瞎画——一堆随机噪声涂成的「脸」,谁也不信
判别器:轻松识破(「这是噪声」)
[第 1 轮] 生成器:根据「哪里被识破」的反馈调整——学会先画出脸的轮廓
判别器:轮廓骗不了我了——但皮肤质感还假
[第 2 轮] 生成器:补上质感——但眼睛的位置不对
判别器:……
[第 N 轮] 生成器画出的脸,判别器已无法与真人照片区分
图说:每一轮双方各收到同一个反馈信号——「上一轮骗没骗成」——各自改进。
没有人告诉生成器「脸应该长什么样」,它的全部 老师是判别器的鉴别结果。
这就是「对抗」两个字:两个网络互为对方的考题与判卷人。
古德费洛自己承认其中有运气的成分:「如果没有成功,我可能就会放弃这个想法。」 ——当夜就跑通了。在基于此想法发表的论文中,他称之为「生成对抗网络」, 在研究人员圈子里他成了「GAN 之父」4。他后来引费曼写在黑板上的话 解释这件事的分量:「我不能理解的东西,我无法创造。」——反过来读: 能造出来的,才算真懂。5
为什么有效(机制层面): 前几章的网络都靠「人标注的答案」训练—— 13 万张眼底照片要 55 名医生标(第 09 章)。GAN 绕开了这个瓶颈: 判别器本身就是标注者,而且它随生成器一起变强,标注永远管够、永远免费。 这是它之后三年爆炸式改进的根本原因。
3. 三年之内:从酒吧到词典
学界的承认来得很快。 2016 年 11 月,杨立昆在卡内基梅隆大学的讲台上称 GAN 是 「过去 20 年深度学习领域最酷的想法」——这相当于反向传播之父级别的人 给它排了历史座次;在场的辛顿假装倒算年份,确认它不比反向传播 更酷才放心(轶事, 原书当花絮记)6。此时 GAN 已能玩出花样:把马变成斑马、把莫奈变成凡·高、 把夏威夷的夏天变成冬天7。
公共事件的转折点: 就在杨立昆那次演讲的同月,特朗普赢得美国大选, 「假新闻」成为全国性话题——「教皇弗朗西斯震惊世界,支持唐纳德·特朗普当选总统」 这类标题党在 Facebook 上病毒式传播;Facebook 后来透露,一家与克里姆林宫 有联系的公司通过 470 个虚假账号投放了约 10 万美元广告8。 华盛顿大学的研究者随即演示了更直接的东西:一段奥巴马的视频, 他们往他嘴里「加入了一些新单词」——口型与声音都对得上9。
移民政策同时改写着人才地图,原书用一个人讲这件事: 伊朗研究者 萨拉·萨布尔 2013 年拿到华盛顿大学录取,美国政府拒绝给她签证—— 她打算专攻的计算机视觉被认为「可能对军事和安全产生影响」; 第二年她进了多伦多大学,随后成为辛顿的主要合作者10。 同期,辛顿帮助设立的多伦多向量研究所拿到 1.3 亿美元 (资助方含谷歌、英伟达),加拿大总理特鲁多另承诺 9,300 万美元 支持三个城市的人工智能研究中心11。西雅图艾伦研究所的埃齐奥尼的 评语被原书引来作结:「我们正在搬起石头砸自己的脑袋,不是脚,是脑袋。」12 (萨布尔这个名字第 12 章还会回来——胶囊网络的共同作者就是她。)
技术成熟的两块里程碑:
| 时间 | 事件 | 参照物 |
|---|---|---|
| 2018-12 | 英伟达芬兰实验室的 Progressive GAN 生成名人级人脸(照片中的人一个都不存在)13 | 此前系统「只会产生一些模糊的图像」,一年后能以假乱真 |
| 2018 前后 | 「深度造假」(deepfake)一词进入词典,指任何用深度学习伪造的影音14 | 从学术名词(2014 年论文)到词典词条,约 4 年 |
伴随而来的是对抗性攻击——不只造假,还能往真实系统里塞假信号: 仅改变一张大象照片中的几个像素,图像识别系统就宣布那是汽车; 在停车标志上贴几张便利贴,就能骗过一辆自动驾驶汽车;甚至有人设想 用这招对交易系统「执行一些诱导性的交易」15。古德费洛本人 2016 年春 去了 OpenAI 专门研究这类攻击(9 个月拿了 80 万美元,其中 60 万是签约金—— 参照第 06 章,当时一个 AI 博士毕业起薪约 50 万),一年后又回谷歌, 因为迪恩在谷歌大脑内部新设了人工智能安全小组16。
4. 另一半:Facebook 为什么追不上
它并非不努力。 数字摆在这里:2018 年 4 月扎克伯格到国会作证, 两天内忍受了 10 个小时质询,回答了近 100 名议员提出的 600 多个问题17; 公司雇了超过两万名合同工审查被举报的内容18;扎克伯格在证词里说 Facebook 删除了 99% 的「伊斯兰国」和基地组织内容——但他没说的是, 即便是人类也无法就「什么是仇恨言论」达成一致19。
真正的问题在结构上,原书用三件事把它钉死:
第一件,连目标都定不了。 2016 年 11 月,自动驾驶老兵波默洛 (第 02 章的 ALVINN)在 Twitter 上 公开设赌:谁能造出自动判断新闻真假的系统, 他以 20∶1 的赔率接招(每次最高下注 200 美元,共 1,000 美元)。他的理由很扎心: 造出这种系统「将意味着人工智能已经达到了人类的水平」——因为 「很多情况下,没有正确的答案」20。杨立昆更进一步:「我不确定是否有人拥有 获取新闻真实性的技术……即使这项技术存在,在实际的部署中, 它可能也不是一个好主意。」21
第二件,审核系统的真实水平。 2019 年 3 月,一名枪手在新西兰克赖斯特彻奇 两座清真寺杀害 51 人,并在 Facebook 上直播了袭击——公司花了一个多小时 才删掉视频。为什么识别不了?因为训练数据里没有任何东西像它: 「它看起来像一款第一人称视角的电子游戏。」22 首席技术官斯科洛普夫——就是第 08 章宣布教神经网络下围棋的那位—— 在采访里谈到此事时停顿了将近 60 秒,然后哭了23。
第三件,防守方自己承认赢不了。 随着 2020 年大选临近,Facebook 发起 深度造假检测竞赛,用 AI 检测 AI 伪造的视频。古德费洛的判语被原书引作收尾: 错误信息制造者「可以造一个可以欺骗任何探测器的生成器。甚至在比赛开始之前, 它就赢了。」24 别忘了还有声音:DeepMind 的 WaveNet 能生成以假乱真的人声, 演示里包括一段克隆的特朗普声音25。
把三件事连起来,就是本节开头那句话的机制版: 审核者面对的不是一道题,是一个不断出题的对手——而对手的出题速度 由 GAN 那台「自己练自己」的机器决定。
5. 作者的判断与证据
书里给了证据的: GAN 的诞生经过(酒吧、当夜、论文)有当事人直接回忆; 假新闻数据(470 账号、10 万美元)来自 Facebook 自己的披露; 国会作证、克赖斯特彻奇的时间线(51 死、直播一个多小时才删)是公开记录; 检测竞赛与波默洛赌局都有可查的公开出处。
要分开标的:
- 「GAN 是过去 20 年深度学习领域最酷的想法」——杨立昆的公开评价, 不是作者的判断;辛顿「假装倒算年份」一段是原书记录的现场轶事,当花絮读;
- 「费曼那句『我不能理解的东西,我无法创造』解释了 GAN 的分量」—— 这是作者的修辞性框定,原书借它来抬高生成式(让机器生成全新内容)路线的地位;
- 「甚至在比赛开始之前,它就赢了」——古德费洛的预测性判断, 他是对抗性攻击研究的开创者,立场天然偏向「进攻更强 」,引用时带着这个背景;
- 本章标题里「Facebook 的无能」是原书章名,这个定性是作者的; 原书同时记录了斯科洛普夫落泪等人性化细节——记者与报道对象关系密切, 批评落在公司结构上,不怎么落在个人身上(本书的一贯倾向,见书卡)。
6. 边界与局限
- GAN 的「造假能力」有明确的当时上限: 2016 年杨立昆夸它时,它生成的还只是 模糊小图;能乱真的名人脸要到 2018 年底。原书写于 2021 年, 之后的扩散模型与大规模生成系统不在书里——今天造假与鉴别的力量对比, 不能拿本章的数字直接外推;
- 「判别器永远追不上」是趋势判断,不是定理: 它依赖「生成方改进更快」 这个经验观察。如果鉴别方能拿到生成方的内部信息(比如平台强制加水印), 力量对比会变——书里没有讨论这条路线;
- Facebook 一节的是单方叙事: 大量素材来自对 Facebook 内部人士的采访, 公司官方口径(如「99% 删除率」)原书引了但没能力独立核实—— 读的时候记住这些是「当事人讲述 + 公开记录」的拼合;
- 波默洛赌局的结果原书没写全: 挑战发出后「出现了一系列的活动来回应」, 但没有人真正赢下赌局——这本身是个数据点:问题难到没人接招。
7. 可带走的
- GAN = 造假者与鉴别者互为考题与判卷人:生成器画、判别器挑错、 双方各按「骗没骗成」改进——不需要人标注,这是它比前几章的网络跑得快的根子;
- 「能造出来才算真懂」(费曼黑板)是生成式路线的宣言:理解一个东西 的终极测试是重新造出它;
- 一项技术的社会后果可以在学术胜利之后立刻启动:GAN 2014 年发论文, 同月级别的公共事件(2016 大选假新闻)两年后就到——机制先行,治理永远在追;
- 内容审核的三重结构性困难:定义难(人类自己都没有一致答案)、 范围外的难(行话叫「分布外」:系统只学过训练数据覆盖的范围,而里面没有「第一人称视角」的屠杀直播)、 对抗难(对手会根据你的检测器定向升级);
- 「用 AI 检测 AI」不是对称博弈:造假方只需骗过一次,检测方要拦住每一次—— 古德费洛「比赛开始前就赢了」的判语,值得作为评估任何「AI 治理 AI」方案的默认质疑;
- 读技术史要盯住「谁在说」:本章最狠的两个判断(最酷的想法/比赛前就输了) 都出自利益相关的顶尖研究者之口——是专业判断,也是立场。
8. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 博士评审请杨立昆、画小象 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:18(搜「画小象」) |
| 「三位酿酒师」酒 吧告别派对 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:23(搜「告别派对」) |
| 「我的朋友们错了」、当夜写代码 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:68(搜「朋友们错了」) · text/14-p261-280.txt:65(搜「单间公寓」) |
| 命名 GAN、放弃想法、GAN 之父 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:75(搜「放弃这个想法」) · text/14-p261-280.txt:76(搜「生成对抗网络」) · text/14-p261-280.txt:77(搜「GAN 之父」) |
| 费曼黑板 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:83(搜「我无法创造」) |
| 杨立昆「最酷的想法」 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:100(搜「最酷的想法」) |
| 马变斑马、莫奈 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:109(搜「斑马」) |
| 特朗普胜选、假新闻、470 账号 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:114(搜「特朗普」) · text/14-p261-280.txt:175(搜「教皇」) · text/14-p261-280.txt:177(搜「470 个」) |
| 奥巴马口型视频 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:185(搜「奥巴马」) |
| 萨布尔拒签、向量研究所 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:141(搜「萨拉·萨布尔」) · text/14-p261-280.txt:146(搜「她在伊朗长大」) · text/14-p261-280.txt:137(搜「1.3 亿美元」) |
| Progressive GAN 名人脸 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:202(搜「英伟达实验室」) · text/14-p261-280.txt:204(搜「Progressive GAN」) |
| 「深度造假」进词典 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:248(搜「进入了词典」) |
| 大象几个像素、停车标志便利贴、诱导交易 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:258(搜「几个像素」) · text/14-p261-280.txt:265(搜「便利贴」) · text/14-p261-280.txt:268(搜「诱导性的交易」) |
| 古德费洛去 OpenAI、80 万、回谷歌 | 13 GAN 与「深度造假」 | text/14-p261-280.txt:272(搜「OpenAI」) · text/14-p261-280.txt:278(搜「80 万美元」) · text/14-p261-280.txt:282(搜「重回谷歌」) |
| 扎克伯格国会作证、10 小时、600 问题 | 17 Facebook 的无能 | text/16-p301-320.txt:359(搜「10 个小时」) · text/16-p301-320.txt:360(搜「600 多个」) |
| 剑桥分析 5,000 万 | 17 Facebook 的无能 | text/16-p301-320.txt:354(搜「剑桥分析」) |
| 两万合同工 | 17 Facebook 的无能 | text/16-p301-320.txt:393(搜「两万名合同工」) |
| 99% 伊斯兰国、仇恨言论无共识 | 17 Facebook 的无能 | text/16-p301-320.txt:401(搜「99%」) · text/16-p301-320.txt:406(搜「无法就什么是仇恨言论」) |
| 「只需要赢得一场比赛」:视频 | 17 Facebook 的无能 | text/16-p301-320.txt:432(搜「赢得一场比赛」) · text/16-p301-320.txt:436(搜「我们可以赢得视频」) |
| 波默洛赌局、20∶1、没有正确答案 | 17 Facebook 的无能 | text/17-p321-340.txt:35(搜「波默洛」) · text/17-p321-340.txt:40(搜「20∶1」) · text/17-p321-340.txt:53(搜「没有正确的答案」) |
| 杨立昆谈真实性、「不是好 主意」 | 17 Facebook 的无能 | text/17-p321-340.txt:158(搜「真实性」) · text/17-p321-340.txt:165(搜「不是一个好主意」) |
| 克赖斯特彻奇:51 死、直播、第一人称视角 | 17 Facebook 的无能 | text/17-p321-340.txt:97(搜「51 个人」) · text/17-p321-340.txt:98(搜「直播了这次袭击」) · text/17-p321-340.txt:126(搜「第一人称视角」) |
| 斯科洛普夫落泪 | 17 Facebook 的无能 | text/17-p321-340.txt:105(搜「哭」) |
| WaveNet、检测竞赛、「比赛开始之前」 | 17 Facebook 的无能 | text/17-p321-340.txt:141(搜「WaveNet」) · text/17-p321-340.txt:152(搜「比赛开始之前」) |