跳到主要内容

AlexNet — 一间卧室、两块游戏显卡,和 ImageNet 那一战

这一章讲三件事: 谷歌的官方路线为什么错了(大机器、免标注,两样都押反); 辛顿怎么设了一个局——跟最强怀疑者约定「赢了 ImageNet 你就改口」; 以及 AlexNet 那一战的打法:最便宜的硬件、最脏的卧室、最干净的数据。 这一章是全书的枢纽:后面的人才争夺、军备竞赛、AlphaGo,全部由这一战引爆。

1. 谷歌这边:大机器,和一只学会认猫的网络​

2010 年底,斯坦福教授吴恩达在一家日本餐厅向谷歌创始人佩奇推销一个想法: 随着数据变多,神经网络会越来越准——而谷歌最不缺的就是数据1。 项目立项,取名「马文」(Project Marvin),致敬明斯基,没有任何讽刺的意思2。

真正的执行者是工程师杰夫·迪恩——谷歌神话级人物,员工的愚人节玩笑专门为他编 「杰夫·迪恩事实」——先交代行话:「优化」就是把计算改得更快更省。其中一个是「真空中的光速曾被认为是每小时 35 英里左右。 然后,杰夫·迪恩花了一个周末优化了物理学」3。他和神经科学家科拉多把「20% 的时间」 投入吴恩达的项目,做出了著名的**「小猫论文」**:动用一万六千多块芯片, 分析数百万条 YouTube 视频,网络自学出了「猫」的概念——没有人给图片贴过标签4。

结果轰动,但方向错了。原书复盘得很直白:

谷歌的选择为什么错
用数据中心上万块 CPU(通用芯片)深度学习需要的是 GPU;数据中心管理者拒绝为 GPU 改造基础设施5
用未标注的原始视频免标注听着聪明,但贴过标签的数据让网络学得更准、更快、更可靠6

蒙特利尔的学生古德费洛曾在会场上当众站起来,斥责他们没用 GPU—— 他很快为此后悔(「当时我不知道他是谁,而现在我有点儿崇拜他了」)7。

2. 多伦多这边:设局、卧室、两块显卡​

第一步:找裁判。 2012 年春,辛顿给伯克利的马利克打电话。马利克是当众骂过 「深度学习是自嗨」的计算机视觉(让机器看懂图像的领域)领袖,原话连讽刺都懒得掩饰。辛顿开场: 「我听说你不喜欢深度学习。」马利克:证据不足,数据集太旧。辛顿:那 ImageNet 如何?8

ImageNet 是斯坦福实验室办的年度竞赛:一个精心标注的巨型图片库—— 每张照片人事先写好答案(这项工作行话叫标注),参赛系统比谁认得准9。 马利克应下赌约。他不知道的是,辛顿的实验室早就为这届比赛备好了系统10。

第二步:两个学生。 萨特斯基弗,苏联出生的数学系本科生,当年直接敲开辛顿的门要进组。 辛顿递给他反向传播论文,一周后他回来,连说两轮「我不明白」—— 第二桩「不明白」的事是:为什么不用一个网络解决所有问题? 辛顿心想:「我花了 5 年时间才想到这一点。」11 克里哲夫斯基,寡言的天才工程师,「从一块装着 GPU 芯片的机器里榨出最后一点速度」的大师12。

第三步:主走查——一张照片在 AlexNet 里的完整旅程(层里的具体数字是为演示编的):

  输入:ImageNet 里一张「小狗」照片(已由人标注:答案 = 狗)

  第 1 层  找最简单的明暗变化:竖边、横边、斜边
  第 2 层  把边拼成小图案:弧线、圆点、条纹(卷积放大镜,第 03 章)
  第 3 层  把小图案拼成部件:耳朵、牙齿、眼睛
  ……若干层之后
  输出:对每个候选类别给一个分数 → 「狗」分数最高 → 答对
       答错了 → 反向传播把误差分摊回每一层每个权重(第 02 章)

  训练场地:克里哲夫斯基父母的卧室,他卧室计算机里的两块 GPU
  训练节奏:每周启动一轮,看屏幕上往上爬的数字;没达标 → 改代码、调权重 → 再来一周
  奖惩机制:辛顿开玩笑说,每提高 1% 精度,奖励他一周时间写毕业论文
           (「那是个玩笑。」克里哲夫斯基说。「他可能以为这是个玩笑,但并非如此。」辛顿说。)[^13]
  电费:多伦多大学一分没出[^14]

结果: 2012 年秋,AlexNet 赢得 ImageNet 竞赛,精确度几乎达到全世界第二好系统的两倍13。

为什么赢: 三个部件各归其位——卷积结构管「图形怎么变形都认得」(第 03 章), 反向传播管「几百层万级权重各自怎么调」(第 02 章),GPU 管「这种调法在时间上跑得完」(第 04 章)。 谷歌三条占了两条半,输在硬件和数据的取舍上:通用芯片跑不动,免标注数据喂不准。

3. 佛罗伦萨:三十年的争论在一间会场里结束​

2012 年 10 月底,佛罗伦萨,计算机视觉会议。克里哲夫斯基宣读论文, 用他「典型的柔和且近乎带有歉意的语气」14。伯克利的埃弗罗斯当场质疑: ImageNet 不像真实世界——「也许你可以在亚马逊的目录中检测到这些 T 恤, 但这无助于你检测真实世界里的 T 恤。」15

替他辩护的是杨立昆。他从会场另一头喊出:「这就是证据。」16 ——三十年前他在贝尔实验室做的卷积网络,被嘲笑了三十年,今天由别人的学生在别人的比赛里 证明了。原书写道:他是对的。对杨立昆实验室的学生们,这也是一种失落: 「多伦多大学的学生比纽约大学的学生行动更快。」17

辛顿事后用魏格纳做比:大陆漂移理论 1912 年提出,被地质学界嘲笑了几十年, 只因为魏格纳「不是『我们中的一员』」。神经网络也一样—— 证据一直在,只是没人肯信:「如果你从随机权重开始,且拥有大量的数据,那么你会实现 所有这些美妙的结果,要我们相信这个简直是太过分了。」18

4. 作者的判断与证据​

书里给了证据的: 比赛结果与「近两倍」的精度(答对的比例)差;论文随后被引用超过 6 万次 (辛顿的玩笑:比他父亲任何一篇论文都多 5.9 万次——「但是谁会数呢?」)19; 佛罗伦萨的现场对抗;马利克事后承认印象深刻。

作者的收束判断: AlexNet 不仅是深度学习的转折点,也是全球科技行业的转折点—— 它证明神经网络可以跨领域成功,而 GPU 对此至关重要,软硬件市场因此改变20。 这句话是后面三章(人才战、炒作、AlphaGo)的总起。

当事人的推测,要分开: 「神经网络将解决计算机视觉问题,仅仅是由谁去做的问题」—— 这是萨特斯基弗读过瑞士施米德胡贝实验室论文后,站在走廊里的断言,先于比赛两年21。

5. 边界与局限​

  • 原书没有给出 AlexNet 的技术规格(层数、参数量(可调数字的总数)、训练时长只散落为轶事); 想复现,这本书不够;
  • 「两倍精度」是单届比赛的名次差,不是对整个领域所有方法的优势; 埃弗罗斯对「目录照片 ≠ 真实世界」的质疑当时没有被正面回答;
  • 一位真正的殉道者没有看到这一天:反向传播的共同作者鲁梅尔哈特 患皮克病,2011 年去世,比 AlexNet 早一年。辛顿:「如果还活着,他会是一位重要人物。」22

6. 可带走的​

  1. AlexNet 的胜利公式 = 卷积结构 + 反向传播 + GPU + 人工标注的大数据——四个零件缺一不可, 谷歌的官方项目恰恰缺了后两个;

  2. 「免标注」听起来高级,但当时贴标签的数据确实更好用:监督信号让网络学得更快更稳; (多年后「自监督」——不靠人标注、让机器自己给自己出题——翻案,那是后话,书里没有。)

  3. 基准测试(用同一份公开考题给所有参赛者打分)是这个行业的裁决机制:争论三十年无效,一场公开比赛一年终结; 想说服这个圈子,别写文章,去赢一个公认的比赛;

  4. 突破经常发生在配给之外:卧室、父母的电费、游戏显卡——不是预算推动的;

  5. 怀疑者与辩护者的位置可以互换:骂得最凶的视觉权威成了裁判, 被冷落三十年的卷积发明人成了辩护人;

  6. 记一组锚点数字:2012 年 10 月夺冠;论文引用 6 万+;次年 3 月辛顿的公司拍出 4,400 万美元(第 06 章)。

7. 原文地图​

主题原书章原文位置
日本餐厅推销、数据越多越准05 证据text/06-p101-120.txt:316(搜「日本餐厅」) · text/06-p101-120.txt:336(搜「变得越来越精」)
马文项目、致敬明斯基05 证据text/06-p101-120.txt:395(搜「马文项目」)
辛格哈尔拒绝、不想跟你交流05 证据text/06-p101-120.txt:424(搜「用户不想问问题」) · text/06-p101-120.txt:441(搜「不想跟你交流」)
杰夫·迪恩事实、光速 35 英里05 证据text/07-p121-140.txt:10(搜「查克·诺里斯」) · text/07-p121-140.txt:22(搜「35 英里」)
小猫论文、16000 芯片、未标注05 证据text/07-p121-140.txt:70(搜「观察猫」) · text/07-p121-140.txt:71(搜「16,000」) · text/07-p121-140.txt:174(搜「未标记」)
用 CPU 的错误、古德费洛斥迪恩05 证据text/07-p121-140.txt:157(搜「CPU」) · text/07-p121-140.txt:163(搜「古德费洛」)
标注过的数据更准05 证据text/07-p121-140.txt:177(搜「标记过的」)
辛顿电话马利克、ImageNet 之约05 证据text/07-p121-140.txt:193(搜「我听说你不喜欢深度」) · text/07-p121-140.txt:206(搜「ImageNet」)
萨特斯基弗敲门、两个「我不明白」05 证据text/07-p121-140.txt:239(搜「我不明白」) · text/07-p121-140.txt:247(搜「5 年时间」)
克里哲夫斯基卧室、+1% 换一周、电费05 证据text/07-p121-140.txt:309(搜「卧室」) · text/07-p121-140.txt:301(搜「1%」) · text/07-p121-140.txt:313(搜「电费」)
近两倍、赢 ImageNet05 证据text/07-p121-140.txt:328(搜「两倍」) · text/07-p121-140.txt:328(搜「赢得了 ImageNet」)
佛罗伦萨、埃弗罗斯质疑、这就是证据05 证据text/07-p121-140.txt:333(搜「佛罗伦萨」) · text/07-p121-140.txt:345(搜「亚马逊的目录」) · text/07-p121-140.txt:353(搜「这就是证据」)
魏格纳类比05 证据text/07-p121-140.txt:367(搜「大陆漂移」) · text/07-p121-140.txt:378(搜「太过分了」)
鲁梅尔哈特之死、引用 6 万05 证据text/07-p121-140.txt:385(搜「皮克病」) · text/07-p121-140.txt:396(搜「6 万次」)
萨特斯基弗走廊宣言05 证据text/07-p121-140.txt:188(搜「计算机视觉」)

Footnotes​

  1. 出处:「05 证据：从谷歌大脑到 AlexNet」(text/06-p101-120.txt:316,搜「日本餐厅」)与(text/06-p101-120.txt:336,搜「变得越来越精」)。2010 年底,吴恩达与特隆一起向佩奇推销;佩奇迟到的轶事在同一节。 ↩

  2. 出处:同章(text/06-p101-120.txt:395,搜「马文项目」)。年底获批。 ↩

  3. 出处:同章(text/07-p121-140.txt:22,搜「35 英里」)。「杰夫·迪恩事实」网站模仿「查克·诺里斯事实」,愚人节上线。 ↩

  4. 出处:同章(text/07-p121-140.txt:70,搜「观察猫」)与(text/07-p121-140.txt:174,搜「未标记」)。16,000 多块芯片、数百万条视频、自学识别猫;学习从未标记的原始图像。 ↩

  5. 出处:同章(text/07-p121-140.txt:157,搜「CPU」)与(text/07-p121-140.txt:160,搜「遭到了拒绝」)。特隆游说在数据中心安装 GPU 被拒,理由是复杂化与成本。 ↩

  6. 出处:同章(text/07-p121-140.txt:177,搜「标记过的」)。数据被标注过,系统更准确、可靠、高效。 ↩

  7. 出处:同章(text/07-p121-140.txt:166,搜「崇拜他了」)。 ↩

  8. 出处:同章(text/07-p121-140.txt:193,搜「我听说你不喜欢深度」)。马利克曾当众斥吴恩达「自嗨式的声明」。 ↩

  9. 出处:同章(text/07-p121-140.txt:209,搜「被精心标」)。全球研究人员每年比赛识别图像。 ↩

  10. 出处:同章(text/07-p121-140.txt:213,搜「没有告诉马利克」)。他的实验室已在打造参赛网络。 ↩

  11. 出处:同章(text/07-p121-140.txt:239,搜「我不明白」)与(text/07-p121-140.txt:247,搜「5 年时间」)。第二轮「不明白」:应该训练一个网络解决所有问题。 ↩

  12. 出处:同章(text/07-p121-140.txt:290,搜「榨出最后一」)。 ↩

  13. 出处:同章(text/07-p121-140.txt:328,搜「两倍」)。原文:精确度几乎达到了全世界第二好的系统的两倍。 ↩

  14. 出处:同章(text/07-p121-140.txt:335,搜「带有歉意」)。 ↩

  15. 出处:同章(text/07-p121-140.txt:345,搜「亚马逊的目录」)。埃弗罗斯质疑 ImageNet 不是可靠的计算机视觉测试。 ↩

  16. 出处:同章(text/07-p121-140.txt:353,搜「这就是证据」)。 ↩

  17. 出处:同章(text/07-p121-140.txt:364,搜「行动更快」)。 ↩

  18. 出处:同章(text/07-p121-140.txt:367,搜「大陆漂移」)与(text/07-p121-140.txt:378,搜「太过分了」)。 ↩

  19. 出处:同章(text/07-p121-140.txt:396,搜「6 万次」)。 ↩

  20. 出处:同章(text/07-p121-140.txt:399,搜「全球科技行业的转折点」)。 ↩

  21. 出处:同章(text/07-p121-140.txt:188,搜「计算机视觉」)。2010 年,读过施米德胡贝实验室的论文后宣布。 ↩

  22. 出处:同章(text/07-p121-140.txt:385,搜「皮克病」)与(text/07-p121-140.txt:393,搜「重要人物」)。鲁梅尔哈特 2011 年去世,比 AlexNet 早一年。 ↩