genius-makers 通读笔记(边读边记,磁盘为准)

原文:library/genius-makers/text/01-p1-20.txt … 26-p501-505.txt(页桶,无书签)。 出处以「短语 + text/xx.txt:N」回核,笔记里记行号供写章时直接用。

结构(来自目录页,01-p1-20.txt:19-83)

• 中文书名《深度学习革命:从历史到未来》;原作者 凯德·梅茨(Cade Metz,《连线》/《纽约时报》记者);译者 桂曙光;中信出版集团 2022-12-01;ISBN 9787521747553;印张 408 页(PDF 504 页)。→ 书卡 edition 应改「2022 年 12 月版,中信出版集团」
• 原书 4 部分 21 章 + 前言 + 致谢/时间线/参与者/注释:
  • 前言 杰夫·辛顿:无法坐下的人
  • 一 一种新型的机器:感知机:01 感知机:最早的神经网络之一 / 02 辛顿与AI的第一次寒冬 / 03 连接主义的圈子 / 04 微软的尝试与谷歌的新突破 / 05 证据:从谷歌大脑到 AlexNet / 06 DeepMind 的野心与谷歌的收购
  • 二 谁拥有智能:07 人才争夺战 Facebook vs 谷歌 / 08 炒作 / 09 反炒作 / 10 AlphaGo 的胜利 / 11 新药研发 / 12 微软的深度学习
  • 三 动荡:13 GAN 与深度造假 / 14 谷歌的傲慢 / 15 神经网络的偏见 / 16 武器化 / 17 Facebook 的无能
  • 四 被低估的人类:18 马库斯与杨立昆辩论 / 19 OpenAI 拣货机器人 / 20 信仰 / 21 未知因素

前置材料(01 文件,行号)

• :84-108 内容简介:AI 两次入冬,深度学习从边缘到中心
• :109-119 作者简介:梅茨,NPR/CNBC/MSNBC 嘉宾
• :136-336 推荐序(余凯,地平线创始人,2022-10-03)——利益相关当事人,亲历竞拍:
  • 2012-10 AlexNet 赢 ImageNet 后余凯电邮辛顿求合作;辛顿开价约 100 万美元研究经费;后注册 DNNresearch 秘密竞拍(:223-256)
  • 竞拍 4 家:百度/谷歌/微软/DeepMind;百度首报 1200 万;谷歌 4400 万成交(:166-168,:256)
  • 辛顿哈拉斯酒店 731 房掩盖背伤;余凯背包留在房间的轶事(:179-183)
  • 余凯 NEC 实验室 2010 年第一届 ImageNet 冠军(:228);2013-01 百度 IDL 成立,李彦宏任院长、余凯常务副院长(:261-263);2015 余凯离职创地平线(:279-280)
  • 邓力(微软竞拍代表)后任 Citadel 首席AI科学家(:301-303);2019 图灵奖 Hinton/Bengio/LeCun(:288-291);Sutskever 联合创立 OpenAI(:293-296)
  • 写作时注意:推荐序是中译本特有的中国当事人视角,声音要和原作者分开标
• :337 起 前言「杰夫·辛顿:无法坐下的人」:辛顿 2005 年起不坐(椎间盘);站桌/跪垫/不乘商业航班(:339-355)

各章要点(文件 02–11)

前言续(02 文件 :1-302):竞拍规则=1 小时倒计时、每次加价 ≥100 万;DeepMind 用股份出价先退出;微软中途退出又回来;2200 万时暂停、2400 万起百度高管接手;4400 万时辛顿决定卖给谷歌(找归宿 > 最高价);731 房、笔记本倒扣垃圾桶上站着打字;熨衣板+湿毛巾搭「雨棚」保湿;天上的 X(山景城);邓力×余凯回程飞机互探;"全球军备竞赛";辛顿对各家签了保密协议「最好不要深究」。

01 感知机(02 文件 :303-420 + 03 文件 :1-207):1958-07-07 国家气象局 IBM 704(价值 200 万美元、租给海军);罗森布拉特 29 岁、康奈尔;左右标记卡片学 50 张后识别;《纽约时报》1958-07-08「走、说、看、写、自我复制、意识到自身存在」;俄克拉何马「会思考的科学怪物」令罗森布拉特反感,后收回夸张说法(「感知机项目主要关注的不是发明『人工智能』设备,而是研究『自然智能』…」);马克一号 1960(6 个冰箱大机柜,400 光电管相机);权重机制(:03 文件11-19,黑点多→高权重→判为 A);明斯基:同校布朗克斯科学高中;SNARC(3000 真空管);1956 达特茅斯会议(麦卡锡改名「人工智能」,西蒙/纽厄尔/明斯基);1966 圣胡安会议明斯基抨击芒森「像你这样聪明的年轻人…」「这是一个没有未来的想法」(经费竞争背景,杜达);《感知机》书=异或(XOR)「它们是两种不同的颜色吗?」→资金转移、连接主义消失;符号 AI(工程师手写规则);Cyc(奥斯汀,「你不能同时出现在两个地方」「喝咖啡杯口朝上」);罗森布拉特 1971-07-11(43 岁生日)切萨皮克湾帆船溺亡。

02 辛顿与第一次寒冬(03 文件 :208-471 + 04 文件 :1-251):1985 MIT 庄园玻尔兹曼机演示、明斯基看后起身离场;辛顿家世(布尔玄孙、第四维度查尔斯·辛顿、琼安·辛顿曼哈顿计划、父亲皇家学会昆虫学家「年纪是我现在两倍时…一半的成就」);剑桥辍物理转哲学转实验心理学→伦敦木匠;赫布《行为组织》「神经元一起发射,并连接在一起」;周六伊斯灵顿图书馆笔记本;爱丁堡读博,导师朗吉特-希金斯改宗符号 AI「每周一次大喊大叫的争论」;「基于信仰的差异化」;1971 英国政府报告→削减经费→「人工智能的寒冬」(类比核冬天);父亲死「这个老家伙在我取得成功之前就死了…高度遗传性的癌症…增加我的死亡概率」;只有一所大学给面试;加州 PDP 小组(并行分布式处理;克里克;1979《科学美国人》呼吁);多层网络设想:第一层像素→第二层线弧→第三层耳朵眼睛(小狗照片);鲁梅尔哈特(听讲座思考自己的研究);反向传播=基于微分的算法把反馈沿层往下传(04:17-23);辛顿反对:权重全零→校平、无法「打破对称性」;鲁梅尔哈特「如果数字是随机的呢?」→解决;玻尔兹曼机(自造声音图像对比学习,像人做梦;「这是我一生之中最激动人心的时刻…我们确信我们已经弄清楚了大脑是如何工作的」谢诺夫斯基);CMU 法尔曼招募,纽厄尔「我们这里有人懂这个」「我做这些不是为了钱」(工资 2.6 万 vs 同事 3.5 万);家谱实验(约翰的母亲是维多利亚→推出比尔是约翰的父亲);婚礼当天早上寄《自然》包裹,1986 年底反向传播论文(鲁梅尔哈特、威廉姆斯);ALVINN(波默洛 1987,宝蓝色雪佛兰,「车上没有人」贴纸,1991 匹兹堡→伊利 60 英里/时);1987 辛顿离开美国去多伦多(里根、伊朗门、DARPA 经费;妻子:「那不是美国,是加州」)。

03 连接主义的圈子(04 文件 :252-471 + 05 文件 :1-393):1989 LeCun 贝尔实验室霍尔姆德尔读手写电话号码 201-949-4038(LeNet,两周训练);贝尔实验室=晶体管/激光/Unix/C;1975 罗亚蒙修道院乔姆斯基×皮亚杰辩论→LeCun 迷上「机器可以学习」;1985 巴黎会议遇辛顿(北非餐厅粗麦粉);博士答辩英语问法语答;NETtalk(谢诺夫斯基,婴儿咿呀→半天单词→一周朗读,《今日秀》);狐狸与刺猬(马利克);福岛邦彦启发→卷积神经网络;NCR 支票(美国超 10% 支票);ANNA 芯片(每秒约 40 亿次);AT&T 分拆→项目解散;1995 瓦普尼克×杰克尔赌局(「心智正常的人不会再使用神经网络」);吴恩达:「杨立昆是唯一能真正让神经网络生效的人」;2003 布罗克特微软统计翻译演示→惊恐进医院「我看到了未来,但我没有参与其中」;统计方法兴起(随机森林/增强树/支持向量机);「神经网络是为那些不了解统计学的人准备的」;古德费洛选蒙特利尔(排名 150 vs 斯坦福第三);马利克当众斥吴恩达;NIPS 拒辛顿论文(一年只收一篇神经);「神经」是坏词→「函数近似」「非线性回归」代称,卷积神经网络→卷积网络;神经网络论文占比不足 5%;法拉贝特论文被拒、杨立昆驳斥信被公示;施米德胡贝(卢加诺湖畔达勒·摩尔研究所,LSTM 长短期记忆;邦德反派穿着;「在我们的实验室里,意识在运转」;辛顿玩笑 LSTM=「在我看来很傻」);辛顿丧妻(罗莎琳德卵巢癌,拒化疗)、「特殊需求」儿子托马斯;第二任杰基·福特;邮件签名「我更喜欢杰弗里。谢谢,杰夫」;「因忘吃饭减掉的体重」评价想法;跑进房间宣布弄懂大脑又推翻;2004 CIFAR「神经计算和适应性感知」每年不足 40 万美元;60 岁生日 NIPS「深度学习」首次进标题(2006-12),「浅薄学习」笑场;达特茅斯 50 周年谢诺夫斯基问明斯基「你是魔鬼吗」→「是的,我是」。

04 微软与谷歌的语音突破(05 文件 :394-482 + 06 文件 :1-310):2008-12-11 惠斯勒邓力×辛顿「有什么新鲜事吗?」「深度学习」;3 小时口语数据≈最好方法;2009-11 辛顿巴士躺后座到布法罗→3 天火车到西雅图(站立办公桌);微软 99 号楼;密码闹剧;MATLAB 原型 <10 页「一行一行,都太清晰了」;GPU=英伟达游戏芯片,2005 微软 3 工程师+斯坦福团队先后发现;1 万美元 GPU(阿塞罗:「不要浪费钱」→后来负责 Siri);彼得·李「最愚蠢的想法之一…如果我一年前被微软聘用,那么这一切都不会发生」;2010 夏达尔来访,必应语音数据,超越微软内部一切;「辛顿是个天才,他知道如何不断地制造影响力」;IBM 沃森中心(穆罕默德);贾特利 2010 夏谷歌实习:GPU 机藏在打印机后(风扇噪声),蒙特利尔小办公室,2000 小时数据「有人做过吗?」「没有,但我不知道这为什么行不通」;词错率 21%→18%(谷歌安卓 23%);YouTube 找词 53%→48%;噪声消除芯片被新系统淘汰;不到 6 个月推上安卓。

05 谷歌大脑到 AlexNet(06 文件 :311-490 + 07 文件 :1-418):2010 底吴恩达×佩奇日本餐厅(手势线图:数据↑精度↑);Project Marvin(致敬明斯基);霍金斯《智能时代》2004 单一算法;雪貂视神经接到听觉皮质仍能看;辛格哈尔拒绝「用户不想问问题」「我不想跟你交流了」;微型厨房遇杰夫·迪恩;迪恩:索马里难民营、疾控中心软件、「迪恩事实」愚人节网站(光速 35 英里/时)、本科恺撒机 64 处理器「我太天真了…需要 100 万倍的计算能力,而不是 60 多倍」;科拉多;DistBelief 用 CPU 而非 GPU(「错误的计算能力+错误的神经网络」;古德费洛当众斥迪恩没用 GPU);小猫论文=16000 芯片+YouTube 数百万视频,未标注数据;2012 春辛顿电话马利克「我听说你不喜欢深度学习」→约定 ImageNet;萨特斯基弗:2012 前从施米德胡贝论文判定「神经网络将解决计算机视觉」;9 年前敲辛顿门「我不明白」两则轶事(微积分/一个网络解决所有问题)「我花了 5 年时间才想到这一点」;倒立俯卧撑「成功有保障了」;克里哲夫斯基:卧室双 GPU 训练、多伦多不付电费、每 +1% 换一周写深度论文;2012 秋 ImageNet 冠军(精确度≈第二名两倍);佛罗伦萨发布会埃弗罗斯质疑(T 恤平铺);杨立昆:「这就是证据」;大陆漂移/魏格纳类比;鲁梅尔哈特 2011 死(皮克病)「如果还活着,他会是一位重要人物」;AlexNet 引用 6 万+;卖价 4400 万三人分,学生坚持辛顿 40%;「这体现了他们是什么样的人,但没有体现出我是什么样的人」。

06 DeepMind 与谷歌收购(07 文件 :419-487 + 08 文件 :1-476):2013-12 尤斯塔斯+迪恩飞伦敦;私人飞机安全带固定辛顿(平流层跳伞者);哈萨比斯:华裔新加坡母亲+希腊塞浦路斯父亲,14 岁以下世界第二棋手,剑桥 CS 第一,「全能脑力」五连胜,《外交风云》世界团体冠军,Theme Park(1000 万份);Elixir;银翼杀手配乐;UCL 神经科学博士(遗忘症患者难想象未来,2007《科学》年度十大);盖茨比中心(塞恩斯伯里资助,创始教授=辛顿);沙恩·莱格(新西兰,芭蕾;超级智能论文「噩梦场景」);「解决智能问题」;苏莱曼(财务);2010 秋创立,名字致敬《银河系搭车客指南》「沉思」;商业计划书第一行=通用人工智能;承诺永不军用;奇点峰会;蒂尔:贝克街别墅棋盘、第二天短裤 T 恤可乐;种子轮 200 万英镑中蒂尔投 140 万;马斯克也投资;姆尼(阿尔伯塔)雅达利 DQN:《越狱》2 小时掌握、2 小时后学会把球打进墙后缝隙无限反弹;诺塞克私人飞机上佩奇偷听到→谷歌想买;2013 初视频演示;格雷夫斯手写生成(生成模型);薪酬对比:谷歌几十万-数百万/人 vs DeepMind <10 万;迪恩看 15 分钟 Torch 代码拍板;出售条件:①禁军用②独立道德委员会(有人说是抬价噱头,创始人坚称是理想);2014-01 谷歌宣布 6.5 亿美元收购 50 人公司;Facebook 出价给创始人两倍现金。

07 人才争夺战(09 文件 :1-388):2013-11 下旬扎克伯格无鞋袜子踱步哈拉斯顶层套房招人「他基本上想招募所有的人」;FAIR 成立(纽约);斯科洛普夫;布尔德夫「这些家伙是来真的」;Facebook 收购 DeepMind 失败(无化学反应;拒道德委员会条款「如果只是为了钱,那么我们本可以赚得更多」莱格);古德费洛被 FB 招;兰扎托(帕多瓦小提琴手→谷歌大脑→FB);2002 谷歌曾邀杨立昆被他拒(600 员工,「它的规模还无法承担得起研究的投入」);扎克伯格帕洛阿尔托家宴杨立昆(机器人订机票买花愿景;「可能是机器人学」不感兴趣);开放研究=杨立昆条件;「我们需要你来创建一间 Facebook 人工智能实验室」两条件(不离开纽约/不放弃 NYU);辛顿协议:保留多伦多教职、付钱给学校;DNNresearch 律师费约 40 万美元;杨立昆每周 1 天大学 4 天公司;微软流失:吉尔西克、齐特尼克去 FB,米切尔去谷歌;米切尔「人海」(sea of dudes);微软困于 Windows,Linux 才是 AI 世界语言;人才价:DeepMind 年员工成本 2.6 亿/700 人=人均 37.1 万;博士毕业 50 万/年;彼得·李:招一名 AI 研究员≈招一名 NFL 四分卫;百度聘吴恩达管硅谷+北京实验室。

08 炒作(09 文件 :389-490 + 10 文件 :1-468):尤斯塔斯潜水服高空跳伞哲学「看似非常危险、实则非常安全」;2014 春 4 万 GPU 1.3 亿美元获批(最初建议 2 万被嫌少);克里哲夫斯基进「司机」项目(后名 Waymo):假期与安杰洛娃做行人检测原型,「人工智能密语者」「容易摘到的果子」;深度学习渗透谷歌:照片/Gmail/AdWords(年收入 560 亿美元大部分);2015 RankBrain 处理约 15% 搜索查询;辛格哈尔性骚扰指控离职,詹南德雷亚(J.G.)接任搜索;DeepMind 冷却系统省数亿美元(补偿收购价);2014 亚马逊 Alexa;施米德胡贝 2005+格雷夫斯 LSTM 语音论文「疯狂的施米德胡贝的成果,但它确实有效」;「你一直都在施米德胡贝」变成动词;克里哲夫斯基:「深度学习不应该被称为人工智能」「我读研究生是为了研究曲线设置」;萨特斯基弗 2011 面试 DeepMind 觉得 AGI 不严肃而拒绝;词嵌入(成千上万维向量地图,哈佛≈耶鲁≈大学/常春藤/波士顿);seq2seq 翻译:施米德胡贝-格雷夫斯 LSTM;「玛丽崇拜约翰」向量≈「玛丽爱上了约翰」≠「约翰崇拜玛丽」;2014-12 NIPS 蒙特利尔「我们用最小的创新,获得了最大的结果」「它想工作」「如果你有一个非常大的数据集和非常大的神经网络,那么成功是有保证的」(辛顿:「只有萨特斯基弗才不受到质疑」);迪恩「我们需要另一个谷歌」(10 亿安卓×每天 3 分钟→需两倍数据中心);TPU:整数非浮点(13×45 而非 13.646×45.828)→每秒多数万亿次;BLEU<30(4 年仅 +3 分)→新系统 +7 分;10 秒/句→TPU 毫秒级;2016-09(劳动节后)上线中英翻译,早于百度;「蒸馏」(大网络知识缩到可用规模);胶囊网络=「新的旧想法」;杰基·福特胰腺癌晚期,玛丽女王 2 号赴英。

09 反炒作(11 文件 :1-428):2014-11-14 马斯克 Edge.org 消息(1 小时后删除):「除非你直接接触过像 DeepMind 这样的团队…5 年、最多 10 年的时间内,有发生严重危险事件的风险」;马斯克对万斯:佩奇「可能会偶然制造出某种邪恶的东西」;波斯特洛姆《超级智能》回形针比喻;垃圾邮件过滤器→消灭所有人;2015-01-04 前 6 周马斯克×扎克伯格帕洛阿尔托晚餐(FB 团队劝说);马斯克求杨立昆推荐自动驾驶人才(黄仁勋同问→英伟达抢了穆勒);FLI(生命未来研究所,塔林 10 万美元/年);2015-01 波多黎各闭门峰会(阿西洛马会议类比;查塔姆宫守则);马斯克承诺 1000 万美元(火箭坠毁后推特公布);泰格马克公开信,萨特斯基弗签名,谷歌法律顾问沃克不签;纳帕晚宴:佩奇「数字乌托邦主义」,骂马斯克「物种主义者」;2015 春 Rosewood 酒店晚餐:布罗克曼(26 岁 MIT 辍学、Stripe 前 CTO)+阿尔特曼+萨特斯基弗;本吉奥拒绝(留学术界)但开了年轻人名单;纳帕谷酒厂大巴:10 人中 9 人 3 周内同意;命名 OpenAI;非营利+开放一切成果(「很多人工智能更有可能去阻止偶尔出现的坏人」阿尔特曼;书评注:这一愿景「最终被证明完全不切实际」——作者判断);扎伦巴:谷歌/FB「近乎疯狂的」报价=市场身价 2-3 倍;萨特斯基弗谷歌第一年近 200 万美元(OpenAI 的 2-3 倍);NIPS 蒙特利尔宣布(参会近 4000 人);杨立昆列 10+ 条反对理由「你会失败的」;哈萨比斯和莱格觉得被出卖。

10 AlphaGo 开头(11 文件 :429-447):2015-10-31 斯科洛普夫 FB 记者会透露 FB 也在教神经网络下围棋;「哈萨比斯推动 AlphaGo 就像奥本海默执行曼哈顿计划一样」(章引)。

10 AlphaGo(11 文件 :429-447 + 12 文件 :1-306):围棋 19×19,每步约 200 种选择 vs 国际象棋约 35;斯科洛普夫 2015-10-31 记者会(FB 教神经网络下围棋「最好的棋手最终会看视觉图案…视觉记录系统」);哈萨比斯视频「我还不能谈论它,但再过几个月,我想会有相当大的惊喜」;杨立昆:「不会。」…「如果 DeepMind 击败了一名顶级围棋选手,有人会告诉我的。但是他错了。」;2016-01《自然》封面:AlphaGo 5:0 胜欧洲冠军樊麾(2015-10 闭门);起源:收购后哈萨比斯×布林聊围棋「我认为这是不可能的」布林说;辛顿:哈萨比斯=奥本海默(「如果由其他任何人来执行,那么他们都不会让它推进得这么快、这么好」);西尔弗+黄士杰+萨特斯基弗+克里斯·马迪森;首尔 2016-03 vs 李世石:超 2 亿人观看=超级碗两倍;李世石赛前夸口 4:1 甚至 5:0;训练:3000 万步人类下法起步+自我对弈数百万盘;施密特「我不是工程师…我是一名计算机科学家」;第 37 手(第二盘):黄士杰代下,雷蒙「我真的不知道,这是一步好棋还是一步坏棋」,概率万分之一,樊麾「这不是人类的下法…太漂亮了」×3;樊麾败给 AI 后对人类六连胜;周记者捶胸口绝望;吴英权「对所有人类来说,这都是一个拐点」;李世石 0:3 后道歉「我应该展示出更好的状态」;第四盘第 78 手(同样是万分之一概率的「神之一手」),AlphaGo 胜率暴跌「它必须重启」,李世石近 5 小时取胜;赛后李世石「与机器对弈…重新点燃了我对围棋的热情…我已经进步了」,之后对人类九连胜;恩塞恩把 37/78 手纹在双臂。

11 新药研发(12 文件 :307-470 + 13 文件 :1-27):阿拉文德眼科医院(马杜赖,每天超 2000 人);印度近 7000 万糖尿病人、每百万人仅 11 名眼科医生;古尔山+彭琼芳(20% 时间项目),数千张→13 万张扫描、55 名美国眼科医生标注;2016 秋 JAMA 论文,准确率超 90%(超 NIH 80% 建议);「黑匣子」问题:辛顿「任何人说这是一个小问题,都不要相信他」;放射科医生=「歪心狼…你已经处在悬崖边上了」;辛顿妻子胰腺癌晚期才确诊→动力;默克 Kaggle 竞赛 2012(4 万美元,236 队):达尔在西雅图→波特兰火车上参赛,「非常愚蠢的神经网络…第七位」辛顿「你必须赢」,与贾特利等赢了(定量构效关系 QSAR,「乔治甚至不知道它的名字,就把整个领域都消灭了」但书评注:这是「一个调整,而不是一个转型突破」;达尔后来放弃:「最能提供帮助的部分并不是最重要的部分…推向市场需要 20 亿美元」);seq2seq 用于医疗记录(迪恩:「病历数据排列起来…看起来就像是你试图预测的一个序列」)。

12 微软(13 文件 :28-447):Google Brain vs DeepMind 矛盾(DeepMind 封锁楼层;Alphabet 改组后独立);苏莱曼「驼鹿」:叙利亚出生伦敦出租车司机之子、牛津辍学、阿拉伯青年热线、马斯克「东方快车」40 岁生日会;DeepMind Health(2016-03,AlphaGo 胜樊麾三周后公布):皇家自由伦敦 NHS 信托,160 万患者 5 年记录(药物过量/堕胎/HIV 检测…),《新科学家》披露;2017-07 监管机构裁定违法;急性肾损伤预测(1/5 入院病人);陆奇:逆向思维自行车(贝尔维尤公园,左转把右转)骑 20 分钟摔倒髋骨骨折;必应;微软 76 亿收购诺基亚;「受程序记忆驱动」;多明戈斯《终极算法》「部落」;「说实话,整个微软研究院的上层都不相信它」陆奇;辛顿拒微软:「不是钱的问题,是评估制度的问题」(堆栈排名);彼得·李雪鸟城听迪恩演讲后仍不信;维奥拉拔掉邓力笔记本线、亮出《感知机》封面「神经网络从未奏效过」→陆奇「这是邓力的演讲还是你的演讲?」;陆奇身世:文革、一间学校一名教师教 400 名学生、复旦、雨天听了克拉克讲座、「什么是内急?」;公理:「计算是对信息进行有目的的操纵」「数据正在成为主要的生产手段」「深度学习在新的基础上进行计算」;FooCamp 听吴恩达小猫论文;百度 1200 万情报→敦促微软竞拍;Uber 收购几何智能(马库斯);劝微软造自动驾驶车(「这并不是说谷歌的人喝的水有什么不同,而是说搜索引擎要求他们解决一系列技术难题」);本吉奥拒微软(蒙特利尔、法语、学术开放);Maluuba 收购提议被拒;「未来的机器人需要睡觉…因为它们需要做梦」;2016-09 陆奇离职,后加入百度任 COO。

13 GAN(14 文件 :1-287):2013 秋古德费洛拒扎克伯格;博士评审组请了杨立昆(失误);画小象;「三位酿酒师」酒吧告别派对,微醺中提出两个网络对抗(生成器骗判别器):「我的朋友们错了!」;深夜女友睡在旁边写代码,数小时成功(「如果没有成功,我可能就会放弃这个想法」);GAN=生成对抗网络,「GAN 之父」;费曼黑板「我不能理解的东西,我无法创造」;杨立昆 2016-11 CMU:「过去 20 年深度学习领域最酷的想法」;辛顿假装倒算年份确认不比反向传播更酷;后续:夏威夷→冬天、马→斑马、莫奈→凡·高;2016-11 特朗普胜选改变一切;移民收紧(「我们正在搬起石头砸自己的脑袋,不是脚,是脑袋」埃齐奥尼);2017-04 向量研究所 1.3 亿美元(谷歌/英伟达等)+特鲁多 9300 万;萨拉·萨布尔(伊朗,签证被拒→多伦多);假新闻(「教皇支持特朗普」;俄罗斯 470 虚假账号 10 万美元广告);华盛顿大学奥巴马口型视频;2018-12 英伟达 Progressive GAN 名人脸(安妮斯顿/戈麦斯);「深度造假」进入词典(米歇尔·奥巴马/尼古拉斯·凯奇色情视频);对抗性攻击:大象改几个像素→汽车;停车标志贴便利贴;金融诱导交易;2016 春古德费洛去 OpenAI(谷歌大脑 9 个月 80 万美元,含 60 万签约金),翌年回谷歌(迪恩设 AI 安全组)。

14 谷歌的傲慢(14 文件 :288-444 + 15 文件 :1-187):2017-05 乌镇 AlphaGo vs 柯洁(3:0);新版「清除了越来越多的人类知识」,可自学象棋将棋,单 TPU 芯片运行;柯洁「就像棋手里的神一样」,捻头发 12+ 小时;点 3-3 是机器引入的策略;2017-07 中国国务院《新一代人工智能发展规划》:2030 世界领导者、1500 亿美元产业;「AlphaGo 与李世石的对弈是中国的人造卫星时刻」;施密特乌镇推销 TensorFlow「如果使用 TensorFlow,那么它们全都会发展得更好」;TensorFlow=DistBelief 继任,开源=平台战略+云;AWS 2017 云收入 174.5 亿;李飞飞谷歌 AI 中国中心;PaddlePaddle;施密特「我在演讲时就知道,中国人要来了」;陆奇在百度造自动驾驶(5 座城市改造)「政府认为这是中国汽车产业跨越式发展的机会」;数据=新时代生产资料;「人们对隐私的需求是普遍的,但中国的处理方式大不相同」;半月湾丽思卡尔顿峰会陆奇白板画 CNN「CNN 这个缩写现在意味着完全不同的东西」;余凯创地平线(对标 TPU 的芯片)。

15 偏见(15 文件 :189-476 + 16 文件 :1-11):2015-06 雅基·阿尔西内:谷歌照片把黑人朋友 80+ 张照片归入「大猩猩」文件夹;推特「谷歌照片,你们搞砸了。我的朋友不是大猩猩」;谷歌删除「大猩猩」标签,5 年后仍禁搜;千层面比喻(「如果你很早就把材料弄乱了,整件事就毁了」);泽勒 Clarifai(拒绝谷歌offer);德博拉·拉吉:训练脸 80% 白人、70%+ 男性;色情分类器把黑人当色情(大众图库以白人为主);格布鲁:NIPS 巴塞罗那 5500 人只见到 6 名黑人;Facebook 长文宣言;Black in AI;NIPS→NeurIPS 改名;布拉姆维尼:白面具(系统认面具不认她的脸)「黑皮肤,白面具」(法农 1952);性别分类错误率:浅肤色男性 1%,深肤色女性微软 21%、IBM 35%(2018 冬发表);微软停止向执法部门出售+呼吁监管;亚马逊 Rekognition(2019 卖给奥兰多警局等):女→男 19%,深肤色女 31%,浅肤色男 0%;亚马逊攻击研究者(伍德博客),布拉姆维尼「如果你是一家市值万亿美元的公司,你不必知道真相」;米切尔+格布鲁在谷歌道德 AI 团队;惠特克+AI 伙伴关系;公开信 25 人签名含本吉奥;「这是研究——艰苦的科学研究——与亚马逊的对抗」拉吉。

16 武器化(16 文件 :12-329):Clarifai「密室」(哈利·波特梗)8 工程师国防部项目(马文/Maven):无人机视频识别人/车/建筑;军官问能否识别清真寺、区分男女(「我们被允许射杀男人,而不是女人…我们还是要杀掉那些浑蛋」);2017-08-11 马蒂斯访谷歌(布林白 T 恤;「谷歌应该让国防部感到不舒服」);Maven 合同 2500-3000 万/3 年(18 个月内 1500 万);JEDI 云合同 100 亿/10 年;FLI 杀手机器人公开信 100+ 签名(马斯克/辛顿/哈萨比斯/苏莱曼);李飞飞邮件:「我们快要拿到马文项目了!…要避免提及或暗示人工智能」(死亡威胁,「我没有参与申请马文项目或接受合同的决策」);9 名工程师拒绝「物理隔离」系统开发=「九人队」;惠特克请愿「谷歌不应该参与战争」,3100+ 签名;DeepMind 过半员工签名;《纽约时报》头版;2018-06 谷歌不续约;学者公开信 1000+ 签名;保尔森「我对他(辛顿)的尊重减弱了很多,因为他什么也没说」,但辛顿私下敦促布林取消合同;沃克「这是一个针对单项合同的决定」;惠特克和保尔森离开谷歌,李飞飞回斯坦福。

17 Facebook 的无能(16 文件 :330-447 + 17 文件 :1-165):扎克伯格 2018-04 国会作证 10 小时、100 议员 600+ 问题;剑桥分析 5000 万人数据;2 万名合同工审查;「我们删除了 99%的『伊斯兰国』和基地组织内容」;仇恨言论 5-10 年;2016 夏年中业务回顾斯科洛普夫「我们只需要赢得一场比赛…视频」;巴黎恐袭后反恐系统;波默洛 2016-11 假新闻挑战(20:1 赔率赌没人能自动判真假;「这将意味着人工智能已经达到了人类的水平」「很多情况下,没有正确的答案」);杨立昆:「我不确定是否有人拥有获取新闻真实性的技术…即使这项技术存在,在实际的部署中,它可能也不是一个好主意」;克赖斯特彻奇 2019-03(51 死,直播 1 小时才删;「看起来像一款第一人称视角的电子游戏」);斯科洛普夫采访落泪;WaveNet 克隆声音(特朗普);AI 检测 deepfakes 竞赛=「人工智能对人工智能的游戏」古德费洛:错误信息会赢「甚至在比赛开始之前,它就赢了」。

18 马库斯×杨立昆辩论(17 文件 :166-434 + 18 文件 :1-68):2018-05 谷歌 I/O Duplex 电话订餐厅(录音对话全文);「嗯嗯」回应;道德争议→承诺自报机器身份;马库斯《纽约时报》社论:场景狭窄=作弊(「谷歌 Duplex 之所以范围如此狭窄…是因为人工智能领域还不知道如何做得更好」);先天论 vs 经验主义(柏拉图-康德-乔姆斯基-平克);「深度学习时代的马文·明斯基」;「辛顿制作了一个更好的梯子,但更好的梯子无法让你登上月球」;几何智能(2014 创意,2015 夏成立,盖拉马尼,卖 Uber,4 个月离开;「可爱的自恋者」);2017 秋 NYU 辩论:「如果说神经网络教会了我们什么,那就是纯粹的经验主义有其局限性」;围棋=封闭宇宙;儿童从一两个例子学习;「先天机器」;「论文三部曲」+《重启人工智能》;杨立昆推特:「准确来说,盖瑞·马库斯提出过的有价值的建议的数量是零」;自动驾驶承诺落空(凤凰城 2018 底 robotaxi 未兑现);AlphaGo 只会下棋;艾伦 AI 研究所 8 年级科学测试;测试题「舞台上,一位女士坐在钢琴前。她——」人类 88%+ 正确、机器约 60%;两个月后 BERT 追平人类(「通用语言模型」;OpenAI 猜下一词(成千上万本自出版书)、BERT 猜填空(「这个人____这辆车,因为它很便宜」)+维基百科;ELMO/ERNIE/BERT 芝麻街命名;100+ 语言;埃齐奥尼系统通过 8 年级和 12 年级科学测试);马库斯「这些系统离真正理解散文还有很长的路要走」辛顿:「它没有技术含量,所以永远不会过时…无论快速发展能持续多久,马库斯都会认为它即将结束。」

19 OpenAI 机器人(18 文件 :69-350):2019 秋魔方机器手(约 4 分钟复原;之前专用设备 <1 秒;5 指人手形);训练:虚拟中「一万年」试错+域随机化(手指大小/摩擦/背景颜色);抗干扰:两指绑住/橡胶手套/长颈鹿毛绒玩具推魔方;亚马逊拣货竞赛 2015-2017(2017-07 名古屋决赛,10 国 16 队,32 种商品 15 分钟拣 10 件;澳大利亚机器人视觉中心赢:10% 错误,120 件/小时,仅比人工多 25%);谷歌大脑机械臂农场(莱文,莫斯科出生、暴风雪项目工程师之子;12 只机械臂两面墙;口红盖子溅「血」惨案;「如果房间看起来让人焦头烂额,那我们就走在正确的轨道上了」;克里哲夫斯基建议永远=「搜集更多的数据」;开门;装箱 14 小时训练 85% vs 人类 80%);OpenAI 两目标:三维游戏 DotA(中文误译为「魔兽争霸」)+魔方手;「引人注目的演示是他们的命根子」;阿比尔(比利时,签约金 10 万,2016 最后半年工资 33 万)离职创 Covariant(陈曦、段岩);卡普西被马斯克挖去特斯拉;2018-02 马斯克离开 OpenAI(「特斯拉的过度自动化是一个错误」「人类被低估了」);OpenAI 重组为营利公司(10 亿承诺只到位一小部分);ABB 闭门竞赛(25 种物品;小熊软糖/光盘反光);柏林 Knapp 仓库:1 万+ 种物品 99%+ 准确率,一台机器人=三个工人;经济学家:短期不减岗位;阿比尔「如果这种情况在 50 年后发生,教育系统就有足够的时间迎头赶上」;投资:杨立昆同意、本吉奥拒绝(「钱多到花不完」更喜欢研究)、辛顿投资「他很棒…毕竟他是比利时人」。

20 信仰(18 文件 :351-389 + 19 文件 :1-389 + 20 文件 :1-127):2016 秋《西部世界》米尔纳卢瓦尔堡私人放映(1 亿美元豪宅;突破奖 300 万);达特茅斯承诺落空史(10 年下棋;西蒙「做人类能做的任何工作」);萨特斯基弗祝酒「为了三年后的通用人工智能,干杯!」(古德费洛疑惑是否来得及拒绝这份工作);「我们相信自己在情感上愿意相信的东西」克里哲夫斯基;2017-01 太平洋丛林(阿西洛马故地)峰会:圆桌「超级智能是否可能出现」全说「是」到马斯克说「不…我们要么走向超级智能,要么走向文明的终结」;「我们所有人都已经是半机械人了…人们仍然用『肉棒』——手指——在手机上打字」;Neuralink 1 亿美元「神经织网」搬进 OpenAI 办公室;阿尔特曼:Loopt 3000 万融资、YC 总裁、「自信的力量非常强大…对自己的信任几乎到了妄想的地步」、马基雅维利「要犯野心的错误,而不是懒惰的错误」、SpaceX 工厂「这就是信念的基准」;2018-04 OpenAI 章程(AGI 使命原文);GPT-2「太危险不能发布」营销(研究者嗤之以鼻,最终发布);CTF《雷神之锤 3》45 万局(4 年游戏时间);星际争霸/DotA(5 智能体胜世界冠军队);里德尔批评:「它们只是对游戏中发生的事情做出反应…每个智能体都有超人的游戏知识,但它们一点儿也不智能」;魔方手真相:发光二极管+传感器追踪手指;「10 次有 8 次魔方会掉」,20% 成功率靠「数万年的数字试错」;微软 10 亿美元投资(大部分返还 Azure 算力),纳德拉「志向远大的北极星」;阿尔特曼:还需 250 亿-500 亿美元;萨特斯基弗「计算海啸」:地球表面被数据中心和发电站覆盖,「你向它提出的第一个问题会是,你能去打造另一个吗?」;DeepMind Health 移交谷歌(2018 秋),苏莱曼离开;谷歌累计投入 12 亿美元研究;50+ 神经科学家;佩奇布林退休;哈萨比斯:「我们正在这样做,我们没有乱来…没有物理定律能阻止通用人工智能的实现」。

21 未知因素(19 文件 :390-510 + 20 文件 :1-127):辛顿金字塔两半拼图(两个 MIT 终身教授:一个拒绝尝试,一个证明不可能);「视觉比看起来更复杂…这是一个被计算机视觉研究人员忽视的事实,这是一个巨大的错误」;侧拍咖啡杯认不出倒置咖啡杯(只看二维);胶囊网络(70 年代末的想法,与萨布尔,2017 秋,从不熟悉角度识别超普通网络);「我认为历史会重演」;2019-03-27 图灵奖(三人,100 万美元,「以三种使用方式分享」);辛顿推特「未知因素」(X Factor;莱斯·维拉提,国王学院楼梯间,图灵 1936 论文);颁奖典礼(500+ 宾客;辛顿 15 年没坐下,站着读卡片);本吉奥:「他们首先是我的榜样,然后是我的导师,再之后是我的朋友和『犯罪同伙』」「我们获得了荣誉,但荣誉也伴随着责任。我们的工具有好的用途,也有坏的」;克里哲夫斯基辞职完全离开领域;吴恩达和陆奇先后离开百度;苹果挖走詹南德雷亚和古德费洛;杨立昆:「以前,我习惯了人们跟我说我错了,现在,我必须小心,因为没有人敢对我这么说了」(燕尾服;Y 开头/法国/兄弟在谷歌);辛顿:「我比杨立昆和本吉奥两人加起来要年轻」;杰基颁奖前几个月去世(失声);图灵演讲:「有两种学习方法——实际上是三种,但被称为强化学习的第三种方法不太有效」「强化学习有一个奇妙的反证…那就是 DeepMind」;机器人外科医生不需要知道棒球比分;挖沟用铲式挖土机;「它远没有宗教那么黑暗」;Covariant 柏林仓库=「机器人的 AlphaGo 时刻」「我一直对强化学习持怀疑态度,因为它需要大量的计算。但我们现在已经做到了」;超级智能:「我认为我们的看法比戴密斯的要好得多…但如果你着眼于遥远的未来,这是一个完全合理的担忧」;临别建议:「如果你有一个想法,并且在你看来它确定无疑是正确的,那么,不要听别人说这很愚蠢,你应该直接忽略他们。」

致谢/时间线/注释(20 文件 :128-355 + 21 文件):作者致谢:经纪人巴索夫称原提案「是垃圾」;Dutton 编辑莫罗;本书定位:「写一本书,内容不是关于这项技术本身的,而是与打造它的人相关的。没有人真正写过…他们写的书是与公司高管有关的」;妻子泰、女儿米莱、黑兹尔;献给父亲沃尔特·梅茨。注释开篇(21 文件 :139-149):「本书源于我为《连线》杂志和《纽约时报》报道人工智能的 8 年间对 400 多人的采访,以及为本书专门进行的 100 多次采访…每一个场景和重要细节(例如,一个收购价格)都由至少两个来源证实」。时间线与正文的出入:时间线说 1984 辛顿×杨立昆法国相遇(正文说 1985 巴黎会议);时间线说 2007 造「深度学习」一词(正文说 2006-12 60 岁生日 NIPS)。文件 22-26=p421-505 全是注释(引用列表),跳过。