数据截至 (上游 commit c187ef3271d5)
时序预测 — 顺序是命脉,随机切分等于拿未来考过去
这一章讲三件事。第一件:有一类数据,你把它打乱就毁了。 第 02 章那张表随便换行的顺序,结果一模一样;第 04 章那些照片打乱先后,也一点不影响。 可股价、气温、每月的客运量不是这样 —— 今天的值本来就跟昨天的值有关, 顺序被打乱,那份关系就没了。
第二件,是这一章的核心机制:网络怎么才能记住「刚才发生了什么」。 做法是给它加一根回自己的线 —— 上一步算出来的那份状态,连同这一步的新数据一起吃进去。 这一级书里从头到尾没讲,由我们补上,不补的话下一节的 LSTM 就是天上掉下来的。
第三件,是一次三个模型同题竞赛,而且结果反直觉: 同一份 144 个月的数据上, 最老的那套架构赢了最新的那套。 书把败因只归给「数据太小」, 而我们注意到那个输掉的模型里少了一样东西 —— 少的是什么,第 11 章第 3 节讲。
在全书链条里的位置: 三个零件里,这一章换了两个 —— 数据摆成什么形状(一条线要先切成一摞窗口)、网络里放什么层(三种能吃下顺序的层)。 训练循环仍然一个字没改。
1. 顶层全景:144 个数,预测最后 12 个
这一章的主走查是一份很小的数据:美国 1949 年 1 月到 1960 年 12 月每个月的航空客运量, 一共 144 个数1。任务是用前面的月份去猜 1960 年那 12 个月。
144 这个数要有个参照才有感觉: 第 08 章那张引文网络有 2708 个节点, 第 04 章那份手势数据有 21600 张图 —— 这一章一共只有 144 个数,少了两三个数量级。 这件事在第 8 节会变成一根绊马索。
144 个月的客运量(一条线)
│
├─① 缩放到 0–1 ───────────→ 便于训练
│
├─② 滑动窗口切片 ─────────→ 134 个样本,每个是「连续 10 个月 → 第 11 个月」
│ 形状 (134, 10, 1)
│
├─③ 按时间切,不随机 ─────→ 前 122 个训练,最后 12 个测试
│
├─④ 换一种吃得下顺序的层 ─→ LSTM / 一维卷积 / 自注意力,三选一
│
├─⑤ 训 100 轮 ───────────→ 训练循环一个字没改
│
└─⑥ 预测 1960 年那 12 个月 → LSTM 误差 8.79%,卷积 11.49%,自注意力 12.12%
图说:这一章真正的新东西是 ② 和 ④。 ② 决定了模型一次能看多久,④ 决定了它用什么方式记住看过的东西。
2. 时间序列哪里特殊:顺序本身就是信息
先看现象。 你手上有一张表,每行一个人;把第 3 行和第 700 行对调,模型学出来的东西不会变 —— 因为行与行之间本来就没关系。
可换成「每个月的客运量」这种数据,情况完全不同。 书说得很直接: 时间序列的数据点是有先后、且互相牵连的,因为一 次观测的值取决于它前面那些观测的值2。
这种「自己跟自己前几步有关」的性质,有个名字叫自相关。 它是时间序列最根本的特征 —— 也正是它让前面七章的做法全部失效2。
书把后果拆成两条,第一条是硬规矩:
| 后果 | 说的是什么 |
|---|---|
| 不许随机取样 | 训练集和测试集必须按自然的时间顺序切。随机划分会把时间结构毁掉3 |
| 趋势 + 季节性 + 随机 | 一条时间序列可以看成三样东西叠在一起:一个长期走向、一个周期性起伏、再加一点随机4 |
第一条为什么是硬规矩,值得说透 —— 这是全章最容易被轻轻放过的一句话。
假设你把 144 个月随机打散,八成做训练、两成做测试。 那么 1955 年 3 月可能进了测试集,而 1955 年 2 月和 1955 年 4 月都在训练集里。 模型训练时已经见过这个月前后两个月的真值,再去「预测」中间这个月,那不叫预测,那叫填空。
你在验证集上看到的漂亮成绩,到了真实场景里一分钱都兑现不了 —— 真实场景里你永远只有过去, 没有未来。所以:按时间切,切点之后的全部留给测试。
第二条那三样东西,在这份数据上看得见: 客运量整体一路往上(趋势), 每年夏天有一个鼓包(季节性),再加上一点说不清的抖动(随机)。书自己也这么描述这条曲线5。
3. 滑动窗口:把一条线切成一摞窗口
它解决什么问题。 上一节说「顺序是信息」,可网络吃的是一批一批形状固定的张量。 一条 144 个数的线,既不能整条喂进去(那样只有一个样本),也不能一个数一个数喂(那样等于扔掉顺序)。
怎么做:拿一个固定长度的窗口在这条线上一步一步往后挪。 书给的做法是:先取最前面十个测量点当第一行,然后把整个窗口往后挪一个时间步, 挪出来的那十个数当第二行,一路挪到底6。
这一章把窗口长度定成 10 个月7。走一遍看得最清楚(下面这些编号是月份序号,不是真实客运量):
原始序列: m1 m2 m3 m4 m5 m6 m7 m8 m9 m10 m11 m12 m13 …
第 1 行输入: m1 … m10 目标: m11
第 2 行输入: m2 … m11 目标: m12
第 3 行输入: m3 … m12 目标: m13
… …
图说:每一行都是「连续 10 个月 → 紧接着的那 1 个月」。 窗口挪一步就多一行,所以 144 个月切出来是 144 − 10 = 134 行8。
切完之后,数据的形状变成三维,书把这三个维度列得很清楚9:
| 维度 | 是什么 | 这份数据上是多少 |
|---|---|---|
| 第一维 | 有多少个样本 | 134 |
| 第二维 | 一个样本里有几个连续的时间步 | 10 |
| 第三维 | 每个时间步记几项指标 | 1(只记客运量) |
第三维为什么是 1,值得说一句。 这份数据每个月只有一个数,叫单变量。 现实里往往不止一个 —— 书作者拿自己的工作举例:他和同事建过欧洲电力市场的价格模型, 夏天一场热浪会同时改变光伏发电量(变高)、核电出力(因停机变低)、 以及用电需求(空调开起来所以变高),一个模型几十项指标是常事10。那时候第三维就是几十。
这一步是这一章最难的一处,书自己也承认: 它管这个「从一维向量变成三维对象」的转换 叫数据准备里最难的部分11。难就难在它同时决定了两件事: 一是模型一次能看多久(窗口 10 个月,它就永远看不到 11 个月前的事), 二是你有多少个训练样本(窗口越长,样本越少)。
4. 网络怎么会把自己的输出喂回给自己
这一节整节是我们补的,书里没有。
为什么必须补: 下一节的 LSTM,书是这么引入的 —— 「常规网络记不住很久以前的信息」, 然后直接给出一张有三道门的结构图12。可读者压根不知道「常规网络」是怎么试图记住的。 不补这一级,LSTM 就成了天上掉下来的一个零件。
先看现象。 前面八章的网络都是「一进一出」:一份输入进去,一份输出出来, 这一份和上一份之间没有任何联系 —— 网络不记得它刚才算过什么。
改法只有一处:给网络加一根回自己的线。
普通网络: x ──→ [网络] ──→ y 每次调用互不相干
加一根线: x(t) ──→ [网络] ──→ y(t)
▲ │
└─ h ─┘
h 就是那份被留下来的状态:算完这一步顺手更新它,
下一步把它连同新输入一起吃进去。
图说:差别只有那一根回送 线。 处理第 t 个月时,网络吃的不只是第 t 个月的数据, 还有它处理第 t−1 个月时留下的那份状态 h —— 而那份 h 里又装着 t−2、t−3…… 一路压缩下来的整个过去。这种带回送线的网络,叫循环神经网络。13
为什么这么做有效 —— 拿一个具体的数走一遍。 最简单的回送规则长这样:新状态 = 这一步输入的一半 + 上一步状态的一半。 输入是一串 0,然后突然跳到 1 并保持:
输入: 0 0 0 1 1 1 1 1 0 0 0
状态: 0.00 0.00 0.00 0.50 0.75 0.88 0.94 0.97 0.48 0.24 0.12
↑ ↑
输入刚跳到 1,状态只到 0.50 输入早就掉回 0,状态还有余温
图说:这几个数就是「记忆」的全部含义。 输入跳到 1 那一刻状态只有 0.50,可这个 0.50 被留了下来, 下一步变成 0.5 + 0.25 = 0.75,再下一步 0.875……输入撤掉之后,状态里的余温还在往下带。 状态这一个数,把整个过去压成了「当前这一格」14。
还有一件事必须说清:那根线上的权重,每一步用的是同一套。 不是第 1 个月一套、第 2 个月另一套 —— 是同一个网络被反复调用了 10 次。 这和第 04 章那个「一个小方块滑遍整张图、每处都用同一套 9 个数」是同一种省法: 要调的参数一共有多少个(行话叫参数量),不随序列变长而膨胀。(这一句是我们连的,书没说。)
代价也在这里,而且正是下一节存在的理由。 状态每传一步都要被乘一遍权重、过一遍激活函数; 传十几步之后,十几个小于 1 的数连乘,最早那一步留下的影响会缩到几乎为零。 书给这个现象的名字是梯度消失:序列往下处理时,信息被一点点弄丢了15。
5. LSTM:另拉一条记忆链,三道门管进出
它解决什么问题。 上一节末尾那件事:普通的回送线传不了太久。 书的说法是,常规网络很难记住躺在很久以前的信息,而 LSTM 就是为解决这个问题造出来的 —— 让那些很早以前出现、但对预测仍然重要的规律活下来16。
怎么做,一句话:除了那根会被反复揉搓的状态线,另拉一条几乎不被打扰的记忆链。 书把这条线叫细胞状态,并说它像一条贯穿整个时间序列的连续记忆链17。
在这条链上开三个口子,每个口子决定放多少东西进出。 这三个口子叫门18:
| 门 | 它决定什么 | 拿客运量举例 |
|---|---|---|
| 遗忘门 | 记忆链上哪些旧东西该扔掉 | 三年前的一次异常波动,可以忘了 |
| 输入门 | 这一步的新东西哪些该写进记忆链 | 今年夏天的鼓包比往年高,记下来 |
| 输出门 | 记忆链里哪些内容该拿出来当这一步的输出 | 现在要预测下个月,只把「季节位置」这部分放出来 |
「门」这个词值得当场讲明白:它是一个输出 0 到 1 的小开关。 乘上 0 等于全关、乘上 1 等于全通、乘上 0.5 等于放一半 —— 所以「决定记什么、忘什么」不是比喻,是真的在做乘法。 (这一句解释是我们补的:书只说三道门「控制信息的流动」,没说门具体是什么18。)
为什么这么做有效。 关键在那条记忆链上没有反复的相乘: 信息可以在链上一直待着,不像上一节那样每传一步就被揉一次。 所以它躲开了「连乘缩到零」的命运。
边界在哪。 三道门意味着参数比普通回送线多好几倍, 在小数据上更容易背答案;而且每一步仍然依赖上一步算完,没法并行,序列长了就慢。 (这两条书都没提,是我们补的 —— 第二条正是第 6 节那套架构存在的理由。)
补充(不在书里):LSTM 不是新东西,它出自 1997 年。 书通篇没有提它的来历,而这件事影响读者怎么看第 7 节那场比武 —— 一个 1997 年的设计赢了 2017 年的设计,不是意外,是数据量决定的。19
6. 另外两条路:在时间轴上滑窗,和一次看完整个窗口
先看现象: 上一节那条链是「一步一步往下传」。可为什么非得一步一步? 两条替代路线,思路完全不同。
6.1 第一条:把第 04 章那个小方块搬到时间轴上
第 04 章讲过一个 3×3 的小方块滑过整张图。这里把它压成一维,滑过时间轴。 书说得很明确:「一维」在这里指的就是时间20。
怎么做: 一个长度固定的小窗口(这一章用 3)在序列上一步步滑, 每停一处,把窗口里的数和窗口自己那几个权重逐项相乘再相加,得出一个数; 滑完一遍就得到一串数,每个数表示「这个窗口在找的那种形状,在这个时刻出现得有多明显」21。
它找的是什么形状? 比如「突然上涨」「突然下跌」这类局部走势。 同时挂几个不同的窗口,就能同时找几种形状21。
和 LSTM 的分工一句话说清:
| LSTM | 一维卷积 | |
|---|---|---|
| 擅长 | 记住很久以前的事 | 认出局部的形状 |
| 怎么走 | 一步一步往下传 | 每个位置各算各的 |
这里也可以接池化层压缩一下 —— 序列变短,但最要紧的形状信息留着,模型更快也更稳22 。
6.2 第二条:一次读完整个窗口,直接把 11 月和 12 月连起来
这一套书只给了一段话,而且明说细节留到讲语言模型那一章23。这里照它的深度讲到「能做到什么」为止。
想象它一口气把整段时间序列读完,然后对每一个时刻问一句: 「其他每个时刻,对理解这一刻有多重要?」 于是每个时刻都拿到一组分数24。
这套机制的名字叫自注意力 —— 「自」是因为打分的对象不是别的东西, 就是它自己这一段序列里的其他时刻;「注意力」是第 08 章那个词:先打分,再按分数加权混合24。
书举的例子很具体: 模型可以据此认出「12 月销量猛涨」和「11 月、10 月的销量」紧密相关, 而 4 月的另一次上涨没什么关系25。
和 LSTM 的根本差别: LSTM 是攒出一份关于过去的记忆,一步步往下传; 这一套直接把两个相隔很远的时刻连上,而且所有时刻可以并行算26。
这一招你已经见过一次了。 第 08 章那个「给每个邻居学一个权重、重要的多听」—— 动作完全一样,只是打分的对象从邻居换成了时刻。 而分数具体怎么算出来,这一章和第 08 章都没讲,书全书都没讲 —— 第 11 章补。 (把这几处连起来是我们做的,书从不点破。)
7. 主走查:144 个月,三个模型同题竞赛
下面每个数都来自书。
第 ① 步,拿到数据。 美国 1949–1960 年每月航空客运量,144 行1。 曲线一路向上,而且每年一个明显的鼓包5。
第 ② 步,缩放。 把客运量压到 0 到 1 之间27。
第 ③ 步,滑窗切片。 窗口长度 10、批大小 47。切出来:
输入 X: (134, 10, 1) ← 134 个样本,每个 10 个月,每月 1 项指标
目标 y: (134, 1) ← 每个样本对应「第 11 个月的客运量」
第 ④ 步,按时间切,不随机。 留最后 12 个月做测试,切点之前全部训练28:
| 形状 | 是什么 | |
|---|---|---|
| 训练输入 | (122, 10, 1) | 1949 年到 1959 年 |
| 测试输入 | (12, 10, 1) | 1960 年那 12 个月 |
第 ⑤ 步,搭 LSTM 模型。 结构简单得出奇,因为难的部分框架直接给了29:
输入 [4, 10] ← 一批 4 个样本,每个 10 个月
→ 补一维成 [4, 10, 1]
→ LSTM(50 个隐藏单元) → [4, 10, 50] ← 每个时间步都吐一份状态
→ 只取最后一个时间步 → [4, 50] ← 「看完这 10 个月之后的总结」
→ ReLU
→ 线性层(50 → 1) → [4, 1] ← 下个月的客运量
这里的「50 个隐藏单元」是什么意思,当场说清: 这一层内部拿 50 个数来描述「看到目前为止的状态」 —— 上一节那个走查里状态只是一个数, 真实的网络里它是一串 50 个数。每一个这样的数就叫一个单元,50 是这一层的宽度29。
「只取最后一个时间步」这一步是这段代码的关键,值得停一下。 LSTM 每个月都吐一份状态,可我们只要「看完这 10 个月之后」那一份 —— 因为那一份里已经压着前面 9 个月的全部信息了29。
第 ⑥ 步,训练。 均方 误差当尺子、Adam 当优化器、转 100 轮30。 注意这一段代码和第 02 章那个焦虑度模型的训练循环逐字相同 —— 换的只是数据和层。
第 ⑦ 步,考 1960 年那 12 个月。这一章第一次出现两把新尺,先讲清它们各自怎么算。
第一把:把每个月猜错的量先平方、取平均、再开一次方把单位换回来 —— 这个「先平方再开方」的算法叫均方根,配上误差就是均方根误差,行话缩写 RMSE。 平方那一下的作用是让大错的分量更重:错 2 个单位的代价是错 1 个单位的四倍。
第二把:把每个月的误差换算成「占真值的百分之几」,再取平均,缩写 MAPE。 好处是不用管单位(不管你量的是人数还是钞票,读数都是百分比), 坏处是真值接近 0 时分母太小、读数会炸。
(这两段解释是我们补的:这两个公式在书里是图片,提取出来是空的,正文一个字都没有。)
这一次的成绩31:
| 尺 | 数 | 怎么读 |
|---|---|---|
| RMSE | 0.08 | 在缩放后的 0–1 尺度上,平均差 0.08 |
| MAPE | 8.79% | 平均下来,每个月猜的数和真值差 8.79% |
第 ⑧ 步,换成一维卷积,同一份数据再跑一遍。 结构换成32:
输入 [4, 10] → 补一维成 [4, 1, 10]
→ 一维卷积(1 → 16 个通道,窗口 3) → [4, 16, 8] ← 10 − 3 + 1 = 8
→ ReLU → 展平 → [4, 128] ← 16 × 8 = 128
→ 线性层(128 → 50)→ ReLU → 线性层(50 → 1) → [4, 1]
成绩:RMSE 0.09、MAPE 11.49%33。
第 ⑨ 步,换成自注意力那一套,再跑一遍。 结构34:
输入 [4, 10] → 补一维成 [4, 10, 1]
→ 线性层把每个月的那 1 个数摊成 48 个数 → [4, 10, 48]
→ 2 层编码器(每层 4 套注意力) → [4, 10, 48]
→ 只取最后一个时间步 → 线性层(48 → 1) → [4, 1]
这里有一条硬约束:那 48 必须能被 4 整除,因为 4 套注意力要平分这 48 个数35。
成绩:RMSE 0.11、MAPE 12.12%36。
第 ⑩ 步,把三个成绩摆在一起看:
| 模型 | RMSE | MAPE | 排名 |
|---|---|---|---|
| LSTM | 0.08 | 8.79% | 第 1 |
| 一维卷积 | 0.09 | 11.49% | 第 2 |
| 自注意力 | 0.11 | 12.12% | 第 3 |
结果和直觉反着来:最老的那套架构赢了最新的那套。 书对此的解释只有一句 —— 模型的复杂度要配得上数据的复杂度37,换句话说,数据太小了。
一笔记在账上的债(这一章只记,不结): 我们逐行核过那个输掉的模型,它比标准做法少了一样东西 —— 那个把「谁在前谁在后」补进去的部件,代码里根本没有38。 少了它,这套架构眼里 10 月和 12 月是平权的,顺序就没了。 那个部件是什么、为什么少了它顺序就没了,第 11 章第 3 节讲,完整的判断也落在那里。 这一章只把事实钉住:书把败因全归给「数据太小」,没有检查自己的实现。
判断(我们的,不是书里的):这一章自己破了第 02 章立的规矩。 第 02 章白纸黑字说过:缩放用的统计量只能拿训练数据算,否则测试集的信息会提前漏进模型。 可这一章的第 ② 步,是在整条 144 个月的序列上一次算完的 —— 1960 年那 12 个月的最大值,参与了缩放27。 对这份一路向上的数据来说,最大值恰好就落在测试段里,所以泄漏的正是「未来能涨到多高」。 如果错,会错在: 如果作者的意图只是「让三个模型在完全相同的输入上比较」, 那么这样做至少是内部一致的,三者之间的排名仍然可比; 但那三个绝对数(0.08 / 0.09 / 0.11)不能被读作「换到真实场景也这么准」。 判据:第 02 章那一节的措辞是规则不是建议,而这一章一句解释都没有。
8. 另起一处:换个更大的框架,结果反而更差
这一处和主走查不是同一条流水线,请当心:它换了一整套喂数据的办法,切分方式也不一样。
它解决什么问题。 上一节第 ③ 步那个滑窗转换,书自己承认是最难的一步。 于是有人把它包起来了 —— 有个专门做时序预测的框架,你把一张表直接交给它就行39。
书用这个框架跑了一个叫 TFT 的模型。 它的特点是能同时吃三类输入40:
| 输入类型 | 是什么 | 在客运量这份数据上 |
|---|---|---|
| 静态的 | 整条序列都不变的属性 | 年份(被当成分类标签) |
| 已知的动态输入 | 随时间变、但未来值提前就知道 | 月份(明年 7 月还是 7 月) |
| 未知的动态输入 | 随时间变、未来值不知道 | 客运量本身 |
它还有两个零件值得记。第一个用的就是上一节那种门(0 到 1 的乘数): 拿门去卡住输入,只放有用的过、把噪声挡掉 —— 这种「拿门管流量」的做法就叫门控41。
书给这个零件的全名里还带另一个词。残差指的是这样一种接线方式: 这一层只负责算出「该在输入上加多少」,算完加回原输入 —— 好处是就算这一层什么也没学到、输出了 0,输入也能原样穿过去、不被搞坏。 (这个词在书里只出现在这个零件的名字里,从没被解释过 —— 上面这句是我们补的。)
第二个零件是变量选择层 —— 它会指出哪几个输入对预测最重要, 所以这个模型是可解释的,而这一点在很多场景里是硬需求41。
走一遍这条线:
- 给每一行配一个从 0 开始的时间编号,月份和年份转成分类标签42;
- 切分:144 个月里前 132 个训练、后 12 个验证 —— 和主走查切在同一个地方43;
- 让模型每次拿 12 个月的历史、预测未来 12 个月43;
- 参数:隐藏层宽度 4、4 套注意力、随机关掉 10% 的神经元、学习率 0.01、跑 10 轮44;
- 用一个叫
trainer.fit()的方法启动 —— 调用方式向 scikit-learn 看齐45。
结果:趋势对了,但它系统性地把总量猜低了46。
判断(我们的,不是书里的):这一节最后那句评语在英文原文里和它自己的上一句打架, 不该当成作者的立场引用。 上一句刚说完「数据越复杂,模型复杂度才该越高」,紧接着的一句却说 像 TFT 这样的模型对这里用的这种极小的单变量数据集「很强大」47 —— 而这和刚刚观察到的「系统性低估」也对不上。 三句话连起来只有一种读法说得通:作者想说的是「TFT 对这么小的数据是杀鸡用牛刀」, 而英文句子里很可能漏了一个否定词。 这本书是德文写成、作者自己译成英文的。 如果错,会错在: 如果作者真的认为 TFT 在极小数据上依然强大, 那这就是他的立场而不是翻译事故 —— 但那样一来,他自己上一句和下一张图都在反驳他。 我们的处理:这一句照实标出矛盾,不引用它的任何一种读法。
这一节真正的可带走项,和框架本身无关: 换一个更大更新的框架,不会让结果自动变好。 144 个月的一列数,喂给一个为多变量、 多条序列设计的重型模型,它多出来的那些本事一个都用不上,反倒更容易训不好。
9. 书 里的立场与证据
书里给了证据的:
- 三个模型的 RMSE / MAPE —— 真跑出来的数,而且用的是同一份数据、同一个切分;
- 滑窗切出来的形状 —— 打印了
(134, 10, 1)和切分后的(122, …)/(12, …); - TFT 系统性低估 —— 有图为证,而且作者照实写了出来。
作者的经验判断(书里没给证据):
- 「LSTM 赢是因为数据太小」 —— 合理,但没有做任何对照实验来验证;
- 「注意力的套数越多,能认出的规律越多」 —— 定性说法,没有对比35;
- 窗口长度 10、隐藏单元 50、100 轮 —— 都没解释为什么是这几个数。
书里没交代来历的: LSTM 出自哪一年、哪两个人,全书一字未提 —— 我们补在了脚注里19。 另外全书唯一一条真正的文献脚注就在这一章:那张 LSTM 结构图注明了它来自维基共享资源48。
书里含混或对不上的: 第 8 节末尾那句关于 TFT 的评语 —— 见那里的判断块。
10. 边界与局限
这本书对的地方先说清: 这一章的开头两页极好 —— 它先讲「为什么这类数据要特殊对待」, 再讲「所以数据要摆成什么形状」,最后才上模型。 顺序完全正确,而且「不许随机取样」 这条规矩在第 02 章就埋了伏笔、在这里兑现3。
但有四处要当心:
- 缩放在切分之前做,是数据泄漏 —— 见第 7 节末的判断块;
- 关于 TFT 那句评语自相矛盾 —— 见第 8 节末的判断块;
- 自注意力那个模型少了一个部件,书没有检查 —— 见第 7 节的记账块,第 11 章结;
- 两个误差公式在书里是图片,提取出来是空的 —— 第 7 节第 ⑦ 步那两句解释是我们补写的。
这一章没覆盖的:
- 「网络怎么把输出喂回自己」这一级完全没有。 书直接从 LSTM 起头, 而 LSTM 是这一级的加强版 —— 第 4 节整节是我们补的;
- 门具体是什么,书没说。 它只讲三道门各自「决定」什么,没说门是一个 0 到 1 的乘数;
- 梯度消失只给了名字,没讲为什么。 书说信息「会被逐渐弄丢」,但没说那是连乘缩水15;
- 注意力的分数怎么算,一个字没有 —— 和第 08 章同一个缺口,第 11 章补;
- 没有和「瞎猜」比过。 第 03 章立的规矩这一章没执行 —— 时序上现成的对照是「下个月 = 这个月」,几行代码就能跑,书一次都没跑;
- 只做了单变量。 作者用自己的工作讲了多变量有多重要10,但代码全程只有一列数;
- 没讲怎么预测多步。 三个模型都只预测「下一个月」,连着预测未来 12 个月要怎么做,没有;
- 经典方法只提了名字。 ARIMA 这类深度学习之前的老办法,书提了一句就过39。
11. 可带走的
主走查一行写完: 美国航空客运量 1949–1960 共 144 个月 → 缩放 → 滑窗(窗口 10)切成 (134, 10, 1) → 按时间切,前 122 训练 / 后 12 测试 → LSTM(50 个隐藏单元,只取最后一个时间步) → 均方误差 + Adam + 100 轮 → RMSE 0.08 / MAPE 8.79%; 同一份数据换一维卷积 0.09 / 11.49%、换自注意力 0.11 / 12.12%。
- 时间序列的顺序本身就是信息 —— 这叫自相关,是这类数据的根本特征;
- 绝对不许随机 切分。 随机切等于把「前后两个月」放进训练集、拿中间那个月当考题, 那不是预测,是填空;
- 一条时间序列可以看成三样东西叠加:趋势 + 季节性 + 随机;
- 滑动窗口把一条线切成一摞窗口,形状是「样本 × 时间步 × 指标」;
- 窗口长度同时决定两件事:模型一次能看多久、你有多少个训练样本;
- 循环网络只比普通网络多一根回自己的线 —— 上一步的状态,连同这一步的输入一起吃;
- 那根线上每一步用的是同一套权重,所以序列变长参数量不涨(和第 04 章的卷积同一种省法);
- 状态传太多步会缩到零,这叫梯度消失 —— 这就是 LSTM 存在的全部理由;
- LSTM 另拉一条几乎不被打扰的记忆链,三道门(遗忘 / 输入 / 输出)管进出;
- 「门」是一个 0 到 1 的乘数:乘 0 全关,乘 1 全通;
- 一维卷积把第 04 章那个小方块搬到时间轴上,擅长认局部形状,不擅长记很久;
- 自注意力一次读完整个窗口,把相隔很远的两个时刻直接连上,而且能并行;
- 第 08 章给邻居打分、这里给时刻打分,是同一件事换了对象 —— 第 11 章讲分数怎么算;
- 在 144 个月这么小的数据上,1997 年的 LSTM 赢了 2017 年那套架构;
- 换个更大更新的框架不会让结果自动变好 —— 模型复杂度要配得上数据复杂度;
- 两把尺:RMSE 让大错分量更重;MAPE 换成百分比、但真值接近 0 时会炸。
12. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 自相关与顺序的重要性 | Chapter 8 | text/10-ch08-chapter-8.txt:26(搜「autocorrelation」) |
| 不许随机取样、趋势与季节性 | Chapter 8 | text/10-ch08-chapter-8.txt:30(搜「No random sampling」) · text/10-ch08-chapter-8.txt:34(搜「Trends and seasonality」) |
| 滑动窗口与三维形状 | Chapter 8 | text/10-ch08-chapter-8.txt:52(搜「shift the entire window」) · text/10-ch08-chapter-8.txt:55(搜「resulting tensor is thus 3D」) |
| 多变量的实际例子 | Chapter 8 | text/10-ch08-chapter-8.txt:44(搜「summer heat wave」) |
| LSTM 的定位与梯度消失 | Chapter 8 | text/10-ch08-chapter-8.txt:84(搜「designed to remember」) · text/10-ch08-chapter-8.txt:88(搜「vanishing gradient problem」) |
| 细胞状态与三道门 | Chapter 8 | text/10-ch08-chapter-8.txt:91(搜「cell state line」) · text/10-ch08-chapter-8.txt:94(搜「Forget gate」) |
| 一维卷积与池化 | Chapter 8 | text/10-ch08-chapter-8.txt:126(搜「represents time」) · text/10-ch08-chapter-8.txt:132(搜「pattern searched」) · text/10-ch08-chapter-8.txt:159(搜「pooling layer that compresses」) |
| 自注意力在时序上的说法 | Chapter 8 | text/10-ch08-chapter-8.txt:164(搜「only provide a brief outline」) · text/10-ch08-chapter-8.txt:166(搜「reads the entire time series all at once」) · text/10-ch08-chapter-8.txt:170(搜「sales in December」) · text/10-ch08-chapter-8.txt:173(搜「distant points in time directly」) |
| 数据与曲线 | Chapter 8 | text/10-ch08-chapter-8.txt:180(搜「number of passengers on flights」) · text/10-ch08-chapter-8.txt:181(搜「upward trend and strong seasonality」) |
| 超参数与缩放 | Chapter 8 | text/10-ch08-chapter-8.txt:216(搜「BATCH_SIZE = 4」) · text/10-ch08-chapter-8.txt:257(搜「Xy_scaled = scaler.fit_transform」) |
| 切片结果与按时间切分 | Chapter 8 | text/10-ch08-chapter-8.txt:275(搜「X_restruct shape: (134, 10, 1)」) · text/10-ch08-chapter-8.txt:280(搜「most difficult part of the」) · text/10-ch08-chapter-8.txt:287(搜「last_n_months = 12」) · text/10-ch08-chapter-8.txt:299(搜「X_train shape: (122, 10, 1)」) |
| LSTM 模型结构与训练 | Chapter 8 | text/10-ch08-chapter-8.txt:370(搜「takes the hidden state of」) · text/10-ch08-chapter-8.txt:374(搜「class FlightModel」) · text/10-ch08-chapter-8.txt:365(搜「EPOCHS = 100」) |
| LSTM 成绩 | Chapter 8 | text/10-ch08-chapter-8.txt:461(搜「RMSE: 0.08」) · text/10-ch08-chapter-8.txt:466(搜「MAPE: 8.79%」) |
| 一维卷积模型与成绩 | Chapter 8 | text/10-ch08-chapter-8.txt:492(搜「OUT_CHANNELS = 16」) · text/10-ch08-chapter-8.txt:578(搜「RMSE: 0.09」) · text/10-ch08-chapter-8.txt:582(搜「MAPE: 11.49%」) |
| 自注意力模型与成绩 | Chapter 8 | text/10-ch08-chapter-8.txt:610(搜「integer divided by NHEAD」) · text/10-ch08-chapter-8.txt:644(搜「x = self.embedding(x)」) · text/10-ch08-chapter-8.txt:693(搜「RMSE: 0.11」) · text/10-ch08-chapter-8.txt:697(搜「MAPE: 12.12%」) |
| PyTorch Forecasting 与 TFT | Chapter 8 | text/10-ch08-chapter-8.txt:706(搜「autoregressive integrated moving average」) · text/10-ch08-chapter-8.txt:720(搜「Temporal Fusion Transformer (TFT)」) · text/10-ch08-chapter-8.txt:726(搜「variable selection layer」) |
| TFT 走查与结果 | Chapter 8 | text/10-ch08-chapter-8.txt:761(搜「time_idx」) · text/10-ch08-chapter-8.txt:782(搜「Training Split Point: 132」) · text/10-ch08-chapter-8.txt:881(搜「BATCH_SIZE = 4」) · text/10-ch08-chapter-8.txt:988(搜「consistently underestimates」) |
| 勘误 关于 TFT 的那句评语 | Chapter 8 | text/10-ch08-chapter-8.txt:989(搜「powerful for tiny univariate datasets」) |