偏见与武器 — 数据里的人类,和把技术交给谁
这一章讲两件事: 偏见——为什么人脸识别系统对深肤色女性的错误率是浅肤色男性的 几十倍,以及这个数字是怎么被研究者逼出来的;武器化——谷歌与国防部签马文项目合同 的全过程,从员工发现、请愿、抗议到不续约。 两件事共用一条逻辑:神经网络从数据里学世界,所以「数据里有什么」和「把系统交给谁」 这两个从来不是技术问题的决定,恰恰决定了技术会长成什么样。
1. 顶层全景:机器没有偏见,数据里有
前几章的神经网络一路凯旋:认支票、听语音、赢 ImageNet、下围棋。 原书的「动荡」部分从这里开始——同一个机制(从大量例子里自己试出规律) 在真实世界里撞出的两个坑:
机制:机器学到什么 = 训练数据里有什么
坑一(偏见):数据来自人类世界,人类世界的分布本来就不均——
图片库里超过 80% 是白人、其中 70% 以上是男性
→ 机器在白人男性上练得最多、错得最少
→ 「准确率」这个总数字掩盖了分人群的巨大差异
坑二(武器化):系统造好了,谁都可以用——
同一个能认出「人、车辆、建筑物」的系统,
装在社交媒体上是功能,装在无人机上是火力引导
→ 决定权不在技术,在签合同的机构
图说:两个坑都不是算法故障,而是「机器如实复制了它被喂养的世界」。
这是理解本章所有事件的钥匙。
2. 主走查:同一张照片,两家系统,两个天地
场景: 麻省理工学院的实验室,研究者乔伊·布拉姆维尼——黑人女性—— 在用人脸检测系统做实验。系统一直认不出她的脸。直到她从桌上拿起一个 白色面具(做实验剩下的小道具)戴在脸上——系统立刻识别出了「脸」1。 她想起 1952 年精神病学家法农的书名:《黑皮肤,白面具》2。
于是她做了一项可以写进教科书的测量:拿同一批人脸照片, 分别送进两家商用系统做「性别分类」(看照片判断男女性别), 按肤色深浅和性别分组统计错误率。2018 年冬发表的结果3:
输入:同一张「深肤色女性」照片 →
┌─────────────┬──────────────┬───────────────┐
│ 系统 │ 判断结果 │ 该组错误率 │
├─────────────┼──────────────┼───────────────┤
│ 微软 │ 经常答错 │ 约 21% │
│ IBM │ 错得更多 │ 35% │
│ (对照组) │ 浅肤色男性 │ 约 1% │
└─────────────┴──────────────┴───────────────┘
图说:同样的任务、同样的照片池,只差肤色与性别,
错误率从 1% 涨到 35%——35 倍。两家系统的「总准确率」广告里
从来看不到这个分布。
后来亚马逊入局,布拉姆维尼与拉吉用同样方法测它的 Rekognition 系统 (2019 年已卖给佛罗里达州奥兰多警察局等执法机构):把女性误判为男性的概率 19%,把深肤色女性误判为男性的概率 31%,而浅肤色男性的错误率是零4。
为什么差异这么大? 回到机制:机器从训练照片里学「脸长什么样」。 拉吉此前在 Clarifai 公司清点过训练数据的成分:超过 80% 是白人, 其中 70% 以上是男性5。机器在深肤色女性脸上练得最少,自然错得最多。 错误率表不是系统「坏了」,是它如实地汇报了数据成分。
3. 根源:大猩猩文件夹和千层面
这个领域不是没有收到过警报。 2015 年 6 月,软件工程师雅基·阿尔西内 (黑人)发现谷歌照片把他黑人朋友的 80 多张照片自动归进了一个文件夹, 文件夹名叫「大猩猩」。他发推:「谷歌照片,你们搞砸了。我的朋友不是大猩猩。」 一名谷歌员工几乎立即私信道歉——谷歌的修复方式是删掉「大猩猩」这个标签; 五年后,谷歌照片仍然禁止任何人搜索这个词6。
为什么会发生?谷歌训练了一个神经网络识别大猩猩,给它输入了成千上万张 大猩猩照片,却没有意识到副作用:训练数据里黑人照片太少, 机器没学会区分两者的特征。阿尔西内自己就是工程师,他把训练系统比作 做千层面:「如果你很早就把材料弄乱了,整件事就毁了。」—— 材料层(数据)的错,后面每一层都会继承。7
同样的机制在 Clarifai 内部又重演了一次:公司打造色情内容过滤器, 在「色情网站图片 + 大众图库图片」两组数据上训练。问题在于大众图库以白人为主、 色情图片不然——于是系统学到的规则是「把黑人识别为色情」8。 21 岁的黑人研究员德博拉·拉吉最先意识到这一点;而公司创始人泽勒和 他招的工程师大多是白人,没人想到去查。
人也是数据的一部分。 格布鲁(斯坦福出身的黑人女性研究者)2016 年在 巴塞罗那参加 NIPS 大会:超过 5,500 名参会者,她只见到 6 名黑人9。 她在 Facebook 上发表长文(原书称「迷你宣言」),随后创建了 「人工智能中的黑人」(Black in AI)组织——它后来推动了大会改名 (NIPS 改称 NeurIPS)等一系列行业变革10。 谁坐在房间里,决定了哪些问 题会被当作问题。
4. 公司的反击:亚马逊攻击研究者
错误率研究发表后,三家公司的反应各不相同,这张对照表值得留着:
| 公司 | 反应 | 出处 |
|---|---|---|
| 微软 | 停止向执法机构出售人脸识别技术,公开呼吁政府监管 | 11 |
| 亚马逊 | 没有接洽研究者,由高管马特·伍德发博客攻击研究方法 | 12 |
| 学界 | 25 名研究人员联名公开信声援,签名者包括本吉奥 | 13 |
拉吉在公开信事件后说:「这不再只是我和布拉姆维尼与亚马逊的对抗。 这是研究——艰苦的科学研究——与亚马逊的对抗。」13 布拉姆维尼的总结更冷:「我学到的是,如果你是一家市值万亿美元的公司, 你不必知道真相。」14
5. 武器化:马文项目的 15 个月
起因在另一家小公司身上预演过。 Clarifai 有个代号「密室」的项目: 8 名工程师为国防部开发无人机视频识别技术(马文项目的一部分, 从沙漠无人机拍回的画面里自动识别人、车辆和建筑物)。实地来视察的军官 问了两个问题:能不能识别清真寺(「经常被改造成军事总部」)? 能不能区分男人和女人——「我们被允许射杀男人,而不是女人」。 一位工程师私下说:「我们还是要杀掉那些浑蛋。」15
谷歌的合同: 2017 年 8 月,国防部长马蒂斯到访谷歌总部 (布林穿着白 T 恤接待);马蒂斯称赞谷歌的「行业领先」, 说自己「已经在战场上见识了该公司技术的力量」;谷歌方面有人表态 应该让国防部「感到不舒服」16。9 月底,谷歌签下为期三年的马文项目合同, 总价值 2,500 万~3,000 万美元,签约后 18 个月内先付 1,500 万—— 参照物:同期国防部还有一份 10 年 100 亿美元的 JEDI 云合同在招标, 马文项目是敲门砖17。
员工的反抗,按时间走:
2017 夏末 生命未来研究所(FLI)发布公开信,呼吁联合国禁止「杀手机器人」
——能自主决定杀人的武器系统;签名者含马斯克、辛顿、
哈萨比斯、苏莱曼,一百多人[^18]
签约前后 谷歌云负责人李飞飞内部邮件曝光:「我们快要拿到马文项目了!
那将是一场伟大的胜利」——但宣传时「无论如何,我们都要
避免提及或暗示人工智能」[^19]
2018 初 9 名工程师拒绝为「物理隔离」系统开发软件——物理隔离指
与互联网完全断开的军用网络,是武器系统的标配;
他们被称为「九人队」[^20]
2018-04 产品经理惠特克发起请愿:「谷歌不应该参与战争业务」,
3,100 多名员工签名;DeepMind 伦敦办公室过半员工也签了[^21]
2018 春 《纽约时报》头版报道李飞飞邮件引发的争议;
她称自己收到了死亡威胁[^22]
2018-06 谷歌宣布不续约。总法律顾问沃克定调:「这是一个针对
单项合同的决定」——刻意不做原则性表态[^23]
事后 惠特克与保尔森离开谷歌,李飞飞回到斯坦福;
一千多名学者发公开信声援请愿员工,签名含本吉奥、李飞飞[^24]
一个值得单独记下的人物细节: 保尔森(离开谷歌的工程师之一)说, 他对辛顿「的尊重减弱了很多,因为他什么也没说」——而原书同时记录, 辛顿其实以私人身份敦促过布林取消合同18。公开沉默与私下行动之间的落差, 原书如实并置,没有替任何一方辩护。
6. 作者的判断与证据
书里给了硬证据的: 大猩猩事件有阿尔西内的推文与谷歌的公开处理; 错误率数字(1%/21%/35%、0%/19%/31%)来自同行评议的发表论文; 合同金额、请愿签名数、不续约时间点都有公开报道交叉印证 (作者自述其方法:每个重要细节至少两个来源证实,见注释开篇)。
要分开标的:
- 「这是研究——艰苦的科学研究——与亚马逊的对抗」是拉吉的原话, 当事人立场,不是作者判断——她是对抗中的一方;
- 「万亿美元公司不必知道真相」同上,布拉姆维尼原话;
- 李飞飞邮件一节,原书平衡地记录了她的辩解(「我没有参与申请马文项目 或接受合同的决策」)与她收到死亡威胁的事实——谴责的落点在公司流程, 不在她个人;
- 辛顿「公开沉默、私下敦促」的并置,是原书少有的对科学家的直接批评笔法—— 注意它借的是保尔森之口。
7. 边界与局限
- 错误率研究测的是「性别分类」这个特定任务,不能直接外推为 「人脸识别整体对深肤色人群无效」;任务、数据、指标(衡量成绩的口径)都换了,数字会变。 但「分人群统计」这个方法是此后所有公平性审计的模板;
- 「不续约」不是「永不军用」: 沃克刻意把它限定为单项合同决定; DeepMind 创始人们 2014 年「永不军用」的承诺(第 06 章)是另一份约束, 原书没有交代两者的关系后来如何演化;
- 偏见一节几乎只覆盖面部识别: 语言、招聘、信贷等其 他场景的偏见 不在本章射程内;
- 员工反抗的成功有其时代条件: 2018 年谷歌还在乎「不作恶」的公众形象, 且 AI 人才市场供不应求(第 06 章),员工谈判筹码罕见地高—— 这套剧本能否复制,书里没答。
8. 可带走的
- 「机器有偏见」的正确表述是「数据有成分」: 训练照片 80% 白人、 70% 男性,错误率就会按这个分布长出来——审系统先审数据;
- 千层面判据(阿尔西内): 材料层弄乱了,整件事就毁了—— 数据层的错,任何下游修补都只能掩盖不能根治(删掉「大猩猩」标签就是掩盖);
- 总要分人群看指标: 总准确率 99% 可以与「某一群人 35% 错误率」并存; 布拉姆维尼的测量方法(同一批输入、分组统计)可以直接复用;
- 公司的反应方式本身就是数据点: 微软停售并呼吁监管,亚马逊发博客 攻击研究者——遇到批评时的第一反应,比发布会上的价值观声明更可信;
- 武器化的决策点在合同,不在技术: 同一个识别系统装在哪里,由机构决定—— 工程师的杠杆只有「拒绝写」和「离开」,九人队与 3,100 人请愿是这两种杠杆 唯一一次大规模生效的记录;
- 公开沉默 ≠ 没有行动(辛顿私下敦促布林):评价公众人物的立场时, 原书这种「并置两种证据」的做法值得学——但也记住反过来:私下行动 替代不了公开立场(保尔森的批评同样成立)。
9. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 大猩猩事件、推文 | 15 神经网络的偏见 | text/15-p281-300.txt:193(搜「阿尔西内」) · text/15-p281-300.txt:218(搜「你们搞砸了」) |
| 删标签、五年后仍禁搜 | 15 神经网络的偏见 | text/15-p281-300.txt:225(搜「禁止任何人搜索」) |
| 成千上万张大猩猩照片 | 15 神经网络的偏见 | text/15-p281-300.txt:228(搜「成千上万张大猩猩」) |
| 千层面比喻 | 15 神经网络的偏见 | text/15-p281-300.txt:235(搜「千层面」) |
| 泽勒与 Clarifai | 15 神经网络的偏见 | text/15-p281-300.txt:243(搜「泽勒」) |
| 拉吉:80% 白人、70% 男性 | 15 神经网络的偏见 | text/15-p281-300.txt:269(搜「80%」) |
| 色情分类器 | 15 神经网络的偏见 | text/15-p281-300.txt:277(搜「色情」) · text/15-p281-300.txt:282(搜「黑人识别为色情」) |
| 格布鲁:5,500 人 6 名黑人、Black in AI | 15 神经网络的偏见 | text/15-p281-300.txt:304(搜「5,500」) · text/15-p281-300.txt:337(搜「Black in AI」) |
| 白面具、法农 | 15 神经网络的偏见 | text/15-p281-300.txt:377(搜「白色面具」) · text/15-p281-300.txt:380(搜「法农」) |
| 性别分类错误率 21%/35% | 15 神经网络的偏见 | text/15-p281-300.txt:394(搜 「35%」) |
| 微软停售执法、呼吁监管 | 15 神经网络的偏见 | text/15-p281-300.txt:403(搜「执法机构」) |
| Rekognition、奥兰多、19%/31%/0% | 15 神经网络的偏见 | text/15-p281-300.txt:416(搜「亚马逊识别」) · text/15-p281-300.txt:418(搜「奥兰多」) · text/15-p281-300.txt:422(搜「19%」) |
| 伍德博客攻击、万亿美元 | 15 神经网络的偏见 | text/15-p281-300.txt:428(搜「马特·伍德」) · text/15-p281-300.txt:437(搜「万亿美元」) |
| 25 人公开信、「艰苦的科学研究」 | 15 神经网络的偏见 | text/16-p301-320.txt:4(搜「25 名」) · text/16-p301-320.txt:11(搜「艰苦的科学研究」) |
| Clarifai 密室、清真寺、射杀男人 | 16 武器化 | text/16-p301-320.txt:19(搜「密室」) · text/16-p301-320.txt:42(搜「清真寺」) · text/16-p301-320.txt:48(搜「射杀男人」) |
| 马蒂斯访谷歌、「不舒服」 | 16 武器化 | text/16-p301-320.txt:104(搜「行业」) · text/16-p301-320.txt:108(搜「感到不舒服」) |
| 合同金额、JEDI | 16 武器化 | text/16-p301-320.txt:124(搜「2,500 万」) · text/16-p301-320.txt:129(搜「100」) |
| FLI 杀手机器人公开信 | 16 武器化 | text/16-p301-320.txt:134(搜「生命未来研究所」) · text/16-p301-320.txt:135(搜「杀手机器人」) |
| 李飞飞邮件、「避免提及」 | 16 武器化 | text/16-p301-320.txt:171(搜「伟大的胜利」) · text/16-p301-320.txt:178(搜「避免提及」) |
| 物理隔离、九人队 | 16 武器化 | text/16-p301-320.txt:228(搜「物理隔离」) · text/16-p301-320.txt:244(搜「九人队」) |
| 惠特克请愿、3,100、DeepMind 过半 | 16 武器化 | text/16-p301-320.txt:246(搜「惠特克」) · text/16-p301-320.txt:258(搜「3,100」) · text/16-p301-320.txt:266(搜「一半的员工」) |
| 纽时头版、死亡威胁、不续约 | 16 武器化 | text/16-p301-320.txt:310(搜「头版」) · text/16-p301-320.txt:301(搜「死亡威胁」) · text/16-p301-320.txt:312(搜「续约」) |
| 保尔森批辛顿、私下敦促布林 | 16 武器化 | text/16-p301-320.txt:295(搜「尊重减弱」) · text/16-p301-320.txt:299(搜「敦促谢尔盖·布林」) |
| 沃克「单项合同」、人员离开 | 16 武器化 | text/16-p301-320.txt:325(搜「单项合同」) · text/16-p301-320.txt:321(搜「回到了斯坦福大学」) |