跳到主要内容

幸存者的圈子 — 卷积网络、第二次寒冬与「深度学习」这个新名字

这一章讲三件事: 多层网络第一次变成真能用的产品靠的是什么结构(卷积); 90 年代第二次寒冬里,这门技术为什么又一次被抛弃——这次不是数学不行,是「不够时髦」; 以及三个欧洲人是怎么在没人看的角落里把火种传到 2006 年的。 读完你会明白:2012 年的爆发不是突然发生的,是一间小圈子接力了二十年的结果。

1. 顶层全景:一个电话号码的读取过程​

1989 年,新泽西州贝尔实验室。29 岁的杨立昆把一张写着电话号码 201-949-4038 的纸条放到摄像头下,敲一下键盘,几秒后屏幕上出现同样的数字序列——这是 LeNet, 一套以他名字命名的手写数字识别系统1。它学了大约两周, 靠分析成千上万封美国邮政投递不了的信封上的潦草字迹2。

这套系统的核心结构叫卷积神经网络,灵感一半来自大脑(视觉皮质不同区域分管不同视野), 一半来自日本研究者福岛邦彦的工作3。它解决的问题是:同一笔画写在不同位置, 写法稍有变形,系统都得认得出。

怎么做(主走查): 拿数字「4」的图像走一遍。老办法是把整张图拍平成一个长串输入—— 「4」写在左边和写在右边,像素串完全不同,系统等于要重新学一遍。卷积换了思路 (下面窗口里的数是为演示编的):

  一张 20×20 像素的「4」
      │  切成许多小方块,一个「放大镜」在整张图上滑动
      ▼
  放大镜 A 专找「左上到右下的短斜线」:在竖笔上擦过 → 记下两处「这里有斜线」
  放大镜 B 专找「横线」:在「4」的一横处 → 记下一处
  放大镜 C 专找「交叉点」:横竖相交处 → 记下一处
      │  几十个放大镜各扫一遍,各自的记录叠成一张新图
      ▼
  下一层再看这张新图:「有竖笔 + 有横笔 + 有交叉」→ 判为 4

为什么有效: 「斜线」「交叉」这类小图案写在哪、写多歪,放大镜都扫得到—— 位置和变形不再是问题,因为找的是局部图案而不是整图模板。 这就是它能读几百种歪歪扭扭写法的原因:测试里 4 宽得反常、6 由一串圆圈构成、 2 由一堆直线组成,它全读对了4。

边界在哪: 学会「读号码」这种小任务就要几周;更复杂的图像(狗、猫、汽车的照片) 当时依然不行5。原书写明:没人知道这些网络以后能否处理复杂图像—— 这个悬念要到 2012 年(第 05 章)才揭晓。

2. 好时光:支票、芯片与「刺猬」​

贝尔实验室是当时世界最著名的研究机构(晶体管、激光、Unix、C 语言都出自这里)6, 给了杨立昆两样多伦多给不了的东西:几万封无法投递的信件(数据), 和一台不用跟人共享的工作站(算力)7。

  • 落地: 到 90 年代中期,母公司 AT&T 旗下卖收银机的 NCR 把他的技术卖给银行读手写支票—— 美国一度有超过 10% 的支票由他的系统读取8;
  • 专用芯片: 他的团队设计了 ANNA 芯片,每秒约 40 亿次运算, 专门跑神经网络——「专为神经网络造硅片」这个想法比它的时代早了 20 年9;
  • 性格注脚: 伯克利教授马利克借哲学家伯林的比喻评他: 「辛顿是一只狐狸……杨立昆是一只刺猬」——狐狸知道很多小事,刺猬只知道一件大事。 杨立昆自己也承认:「我一直认为我绝对是正确的。」10

3. 第二次寒冬:不是数学杀了它,是时髦杀了它​

90 年代,神经网络第二次退潮。这次的原因值得看清,因为它和第一次不同:

  • 能力上限没变。 ALVINN 只能开私家路和直路;NETtalk(谢诺夫斯基的朗读机) 被当成派对把戏;卷积网络遇到狗猫照片照样不行11;

  • 对手更实用了。 统计方法(随机森林、增强树、支持向量机——当时主流的一类统计学习机器)在各自领域成熟起来; 1995 年,贝尔实验室的瓦普尼克敢和同事杰克尔打赌:10 年内 「心智正常的人不会再使用神经网络」——赌注是一顿晚餐,杨立昆是见证人12;

  • 「神经」成了坏词。 一年只收一篇神经网络论文的 NIPS 会议,拒掉了辛顿的投稿; 全领域论文中神经网络占比不足 5%;研究者投稿时用「函数近似」、行话叫「非线性」回归(拟合不呈直线关系的数据)这类名字 代替「神经网络」,杨立昆则干脆把「卷积神经网络」里的「神经」删掉13;

  • 斯坦福的课堂直接劝退: 一门课上讲师把神经网络斥为连异或都处理不了的技术—— 那是条 20 年前已被反驳过、却还在传的批评14。

同一时期,符号路线也在被淘汰。原书给了本章最戏剧性的一幕: 微软的语言学家布罗克特手写了近 7 年自然语言规则,2003 年一个下午, 两位同事演示了一个只做了 6 周的统计翻译系统。布罗克特「以为是心脏病」被送进医院—— 他后来称之为自己的「灵光乍现的时刻」:我看到了未来,但我没有参与其中15。

而神经网络连统计翻译的位置都没抢到。当时流传的一句话是: 「神经网络是为那些不了解统计学的人准备的。」16

4. 幸存者名单​

寒冬里还在坚持的人,原书给了一份具体名单:

人在哪坚持什么
杨立昆2003 年起纽约大学马尾辫教授,守着美国东岸最后一间认真的神经网络实验室
辛顿多伦多大学加拿大成了避难所
本吉奥蒙特利尔大学贝尔实验室时期结识杨立昆,1993 年起在蒙特利尔建实验室
施米德胡贝瑞士卢加诺湖畔意大利利口酒大亨资助的研究所;和学生造出带记忆(能记住更早的输入)的 LSTM 网络17

施米德胡贝值得一笔:一米九的个子,软呢帽加尼赫鲁高领夹克(模仿邦德反派布洛菲尔德), 学生说他「听起来像一个疯子」,他宣称「在我们的实验室里,意识在运转」18。 辛顿则开玩笑说 LSTM 是「在我看来很傻」的意思——但后来正是这套「长短期记忆」 成了机器翻译的发动机(第 07 章)19。原书借他提醒一件贯穿全书的事: 这个领域从罗森布拉特开始,领导人就一直「漫不经心地预示了逼真的技术」—— 有时是筹资手段,有时是真信;如果技术没跟上宣传,就会停滞多年20。

5. 转折点:一个圈子,一个新名字​

2004 年,辛顿靠加拿大高级研究所每年不足 40 万美元的经费, 把三个国家的幸存者编成一个正式的研讨集体(「神经计算和适应性感知」), 每年办两场研讨会——杨立昆、本吉奥,后来加入百度的余凯都在其中21。 辛顿把他们比作一起深挖水门事件的伍德沃德与伯恩斯坦:不各自为战,共享想法22。

2006 年 12 月,辛顿 60 岁生日,他在 NIPS 大会的演讲标题里第一次放上 **「深度学习」**四个字23。这是个品牌动作:技术没变(还是多层神经网络), 但旧名字背着两次寒冬的臭名,新名字令人回味。他当场打趣说别人做的都是「浅薄学习」, 台下笑了——他知道这个名字成了24。

判断(我们的,不是书里的): 「深度学习」的诞生说明,一个研究方向的命运 相当程度上取决于它的名字——名字决定资助者是否愿意接电话、学生是否愿意入伙、 会议是否愿意收稿。技术上 2006 与 1996 的差别没那么大;差别大的是 branding。 如果错,会错在: 如果 2006 年辛顿组里那套「一次训一层」的新训练方法本身 就是实质突破,那「名字优先」就是低估——原书对方法本身着墨很少,留了这么个空档。

寒冬结束的标志还有一幕黑色幽默:达特茅斯会议 50 周年,谢诺夫斯基当众问明斯基 「你是魔鬼吗?」——问了两遍。明斯基被激怒后回答:「是的,我是。」25 历史的态度,已经反转。

6. 作者的判断与证据​

书里给了证据的: LeNet 的两周训练与支票市占率;瓦普尼克-杰克尔赌局(双方都在场); 布罗克特进医院(本人自述);NIPS 拒稿与论文占比不足 5%;CIFAR 经费数额; 2006 年 NIPS 演讲标题。这些都是可回核的事实与当事人陈述。

作者的推测/圈子归因,要分开:

  • 「很多人认为《感知机》关闭了这个想法 15 年」式的归因再次出现—— 杰克尔自评赌赢「主要是因为杨立昆没有放弃」,这是当事人的事后感慨26;
  • 施米德胡贝「意识在运转」是原书引用他人转述,带明显调侃语气,读时别当技术主张。

7. 边界与局限​

  • 本章(和原书)没有用数字衡量「第二次寒冬有多冷」:经费、人数、论文数的系统数据原书没给, 只有轶事(一次拒稿、一个赌局、一句坏话);
  • LSTM 的机制原书只用「记住最近分析过的数据」一笔带过——它怎么实现记忆、 为什么能处理长句,书里没有;我们如实交代,不替原书补机制;
  • 杨立昆的两面(产品成功/学术失意)之间的张力,原书是靠时间线呈现的,没有分析成因; 我们给出一个候选解释(见下),标注为判断。

判断(我们的,不是书里的): 产品成功反而加深了学术失意—— 因为「读支票」把神经网络定位成了「小任务的专用工具」,恰好坐实了反对者的叙事 (「只配干这点事」)。真正翻盘要等一个公认的公开基准(第 05 章的 ImageNet)。 如果错,会错在: 如果当年有研究者借支票系统的成功获得充足经费去做大网络, 寒冬就可能缩短——历史没有给这个分支,判断只能止步于推测。

8. 可带走的​

  1. 卷积 = 用一组「会滑动的放大镜」分别找局部小图案,再由下层把小图案拼成大图案—— 这是让「位置变化、笔迹变形」不再致命的结构,今天的图像系统仍在用它;
  2. 90 年代的寒冬不是被数学打败的,是被「不够实用也不够时髦」双重挤出的: 统计方法抢了地盘,「神经」成了需要回避的词;
  3. 符号路线的终局在 2003 年就演完了:7 年手写规则输给 6 周的统计系统;
  4. LSTM(长短期记忆)诞生于这个寒冬,当时没派上用场,后来成了翻译系统的发动机;
  5. 「深度学习」在 2006 年底首先是市场营销:名字换了,圈子没换,经费逻辑开始反转;
  6. 幸存者结构是「两所加拿大大学 + 一间纽约实验室 + 一间瑞士研究所」—— 这解释了为什么此后十几年的关键人物几乎都出自这几个师承;
  7. 认人小抄:杨立昆=刺猬(一条路走到底),辛顿=狐狸(想法层出不穷),本吉奥=语言方向, 施米德胡贝=瑞士的竞争性天才(后文他会反复出现)。

9. 原文地图​

主题原书章原文位置
LeNet 读 201-949-4038、两周训练03 连接主义的圈子text/04-p61-80.txt:262(搜「201—949—4038」) · text/04-p61-80.txt:282(搜「两周」)
变体数字全读对、复杂图像不行03 连接主义的圈子text/04-p61-80.txt:286(搜「艺术项目」) · text/04-p61-80.txt:293(搜「狗、猫、汽车」)
贝尔实验室、晶体管激光 Unix03 连接主义的圈子text/04-p61-80.txt:274(搜「晶体管」) · text/04-p61-80.txt:430(搜「无法投递的信件」)
卷积神经网络、福岛邦彦、视觉皮质03 连接主义的圈子text/04-p61-80.txt:413(搜「卷积神经网络」) · text/04-p61-80.txt:412(搜「福岛邦彦」)
NCR 支票 10%、ANNA 芯片03 连接主义的圈子text/04-p61-80.txt:444(搜「10%的支票」) · text/04-p61-80.txt:456(搜「40 亿次」)
狐狸与刺猬、我绝对是正确的03 连接主义的圈子text/04-p61-80.txt:419(搜「刺猬」) · text/04-p61-80.txt:405(搜「绝对是正确」)
NETtalk、咿呀学语03 连接主义的圈子text/04-p61-80.txt:360(搜「NETtalk」) · text/04-p61-80.txt:371(搜「咿呀学语」)
AT&T 分拆、申请被裁03 连接主义的圈子text/05-p81-100.txt:1(搜「万维网」) · text/05-p81-100.txt:3(搜「解雇告知书」)
瓦普尼克赌局03 连接主义的圈子text/05-p81-100.txt:12(搜「丰盛的晚餐」)
布罗克特 7 年规则、进医院03 连接主义的圈子text/05-p81-100.txt:72(搜「将近 7 年」) · text/05-p81-100.txt:85(搜「没有参与其中」)
「为不懂统计学的人准备」03 连接主义的圈子text/05-p81-100.txt:111(搜「不了解统计学」)
「神经」是坏词、5%、卷积网络改名03 连接主义的圈子text/05-p81-100.txt:160(搜「不足 5%」) · text/05-p81-100.txt:165(搜「卷积网络」)
施米德胡贝、LSTM、意识在运转03 连接主义的圈子text/05-p81-100.txt:184(搜「施米德胡贝」) · text/05-p81-100.txt:209(搜「长短期记忆」) · text/05-p81-100.txt:213(搜「意识在运转」)
CIFAR 40 万、伍德沃德03 连接主义的圈子text/05-p81-100.txt:336(搜「40 万美元」) · text/05-p81-100.txt:343(搜「伍德沃德」)
60 岁生日、深度学习命名、浅薄学习03 连接主义的圈子text/05-p81-100.txt:350(搜「深度学习」) · text/05-p81-100.txt:354(搜「浅薄学习」)
你是魔鬼吗03 连接主义的圈子text/05-p81-100.txt:383(搜「你是魔鬼吗」)

Footnotes​

  1. 出处:「03 连接主义的圈子」(text/04-p61-80.txt:266,搜「LeNet」)。1989 年,霍尔姆德尔的贝尔实验室;系统最终以他的名字命名。 ↩

  2. 出处:同章(text/04-p61-80.txt:430,搜「无法投递的信件」)与(text/04-p61-80.txt:282,搜「两周」)。每个数字数千个实例,约两周训练。 ↩

  3. 出处:同章(text/04-p61-80.txt:410,搜「视觉皮质」)与(text/04-p61-80.txt:412,搜「福岛邦彦」)。 ↩

  4. 出处:同章(text/04-p61-80.txt:286,搜「艺术项目」)。4 宽两倍、6 由圆圈构成、2 由直线组成,机器全读对。 ↩

  5. 出处:同章(text/04-p61-80.txt:293,搜「狗、猫、汽车」)与(text/05-p81-100.txt:20,搜「不起作用」)。复杂图像分析当时无效,也没人知道能否起作用。 ↩

  6. 出处:同章(text/04-p61-80.txt:274,搜「晶体管」)。 ↩

  7. 出处:同章(text/04-p61-80.txt:430,搜「无法投递的信件」)与(text/04-p61-80.txt:435,搜「自己的工作站」)。他加入的理由就是对方承诺独享工作站。 ↩

  8. 出处:同章(text/04-p61-80.txt:444,搜「10%的支票」)。 ↩

  9. 出处:同章(text/04-p61-80.txt:448,搜「ANNA」)与(text/04-p61-80.txt:456,搜「40 亿次」)。重塑芯片产业的时刻还要 20 年才到来。 ↩

  10. 出处:同章(text/04-p61-80.txt:419,搜「刺猬」)与(text/04-p61-80.txt:405,搜「绝对是正确」)。图灵奖当晚视频中的话。 ↩

  11. 出处:同章(text/05-p81-100.txt:18,搜「NETtalk 可能会被看作派对上的把戏」)。原书对三项成果的清算。 ↩

  12. 出处:同章(text/05-p81-100.txt:12,搜「丰盛的晚餐」)。瓦普尼克原话「心智正常的人不会再使用神经网络」;杰克尔赢了,但「空洞的胜利」。 ↩

  13. 出处:同章(text/05-p81-100.txt:156,搜「另一篇关于神经网络」)与(text/05-p81-100.txt:165,搜「卷积网络」)。 ↩

  14. 出处:同章(text/05-p81-100.txt:115,搜「异或」)。斯坦福课程讲师的批评,延续 40 年。 ↩

  15. 出处:同章(text/05-p81-100.txt:85,搜「没有参与其中」)。布罗克特自述惊恐发作送医,称「灵光乍现的时刻」。 ↩

  16. 出处:同章(text/05-p81-100.txt:111,搜「不了解统计学」)。 ↩

  17. 出处:同章(text/05-p81-100.txt:209,搜「短期记忆」)与(text/05-p81-100.txt:209,搜「长短期记忆」)。达勒·摩尔研究所以洋蓟利口酒发家的意大利巨头资助。 ↩

  18. 出处:同章(text/05-p81-100.txt:213,搜「意识在运转」)与(text/05-p81-100.txt:202,搜「白猫」)。 ↩

  19. 出处:同章(text/05-p81-100.txt:218,搜「looks silly」)。辛顿的玩笑;LSTM 后续见第 07 章拆解(机器翻译)。 ↩

  20. 出处:同章(text/05-p81-100.txt:222,搜「漫不经心地预示」)。 ↩

  21. 出处:同章(text/05-p81-100.txt:336,搜「40 万美元」)。2004 年,「神经计算和适应性感知」,每年两场研讨会。 ↩

  22. 出处:同章(text/05-p81-100.txt:343,搜「伍德沃德」)。 ↩

  23. 出处:同章(text/05-p81-100.txt:350,搜「深度学习」)。60 岁生日在温哥华 NIPS 演讲,这个词第一次出现在标题中。 ↩

  24. 出处:同章(text/05-p81-100.txt:354,搜「浅薄学习」)。 ↩

  25. 出处:同章(text/05-p81-100.txt:383,搜「你是魔鬼吗」)。达特茅斯 50 周年庆典上谢诺夫斯基与明斯基的对话。 ↩

  26. 出处:同章(text/05-p81-100.txt:27,搜「杨立昆没有放弃」)。 ↩