跳到主要内容

全书到这里一直在「逼近一件事」;接下来五章换一套语言:把每个说不准的量 看成随机变量,用条件独立性把巨大的联合分布拆成一堆小零件。 这一章管两件事:怎么画这张图(表示),参数怎么估(学习); 「看见一部分想知道另一部分」的推断问题,留给第 35 章。

概率图模型(一):怎么表示、怎么估参数

1. 这一章讲什么​

两件事: 概率图模型的表示(怎么用图把巨大的联合分布拆成小零件) 与学习(拆完之后参数怎么估);「看见一部分想知道另一部分」的推断 留给第 35 章。

它在全书链条里的位置: 第 03 章的概率语言在这里成套展开;第 26 章 「不可观测变量要等 EM」的债在本章第 10 节还;第 35～38 章(推断、 玻尔兹曼机、生成模型)全部踩在本章的地基上。

需要第 03 章(条件概率、最大似然)。

2. 顶层全景​

  2¹⁰⁰ ≈ 10³⁰ 个参数(§3)──条件独立──→ 拆成一串小条件概率
   ├ 有向:贝叶斯网络,局部条件概率连乘(§5);箭头默认不是因果
   │    链 / 分叉 / 汇聚:观测中间点效果相反——解释消除(§6)
   ├ 无向:马尔可夫随机场,最大团上的势函数 + 配分函数 Z(§7)
   │    Z 要对全部取值求和 → 指数复杂,推断与学习的困难之源
   ├ 有向 ↔ 无向:道德化,代价是丢独立性(§8)
   └ 学习(§9-§10):全观测有向图逐局部数表;无向图被 Z 耦合只能近似;
        含隐变量 → ELBO 搭桥,EM「贴住—抬高」交替(§10)

3. 一百个是非题的联合分布有多大​

K 个二值变量的联合分布,直接列一张大表需要 2^K−1 个数。书给的算术: K=100 时参数量约 10^30——作个参照(此句为补充,不在书里,来自通用知识), 全世界硬盘加起来存得下的字节约 10^23 量级,差着七个数量级,根本存不下, 更别说从数据里估出来1。

图模型的破局思路只有一条:独立性假设。联合概率总可以按乘法拆解写成 一串条件概率;若某些变量在已知别人后变得无关,对应条件概率立刻缩水, 参数量大幅下降2。

4. 条件独立能省多少:15 到 9​

书用一个四个二值变量的小例子把账算给你看。不知道任何依赖关系时, 联合表要 2^4−1=15 个参数。加两条独立性:「已知 X₁ 时 X₂ 与 X₃ 无关」、 「已知 X₂,X₃ 时 X₄ 与 X₁ 无关」,联合分布就分解成 4 个局部条件概率 的乘积;若每个都用小表格记录,参数变成 1+2+2+4=9 个3。

这张依赖关系图就是概率图模型:节点是变量,边是依赖4。

主走查:四个变量的完整账​

沿用书那张图的结构:X₁ 分别指向 X₂、X₃;X₂、X₃ 共同指向 X₄。

  参数账:无假设 2⁴−1 = 15 个
        加两条条件独立后 p(x)=p(x₁)p(x₂|x₁)p(x₃|x₁)p(x₄|x₂,x₃)
        小表格参数 1 + 2 + 2 + 4 = 9 个

  代入一组条件概率表(数值为演示编的):
   p(x₁=1)        = 0.6
   p(x₂=1|x₁)    = 0.7 (x₁=1) / 0.2 (x₁=0)
   p(x₃=1|x₁)    = 0.5 (x₁=1) / 0.1 (x₁=0)
   p(x₄=1|x₂,x₃) = 0.9 (1,1) / 0.6 (1,0) / 0.3 (0,1) / 0.05 (0,0)

  求 p(1,0,1,1):
   = p(x₁=1) · p(x₂=0|x₁=1) · p(x₃=1|x₁=1) · p(x₄=1|x₂=0,x₃=1)
   = 0.6 × 0.3 × 0.5 × 0.3 = 0.027

十五个数变成九个数、任意一条取值组合的概率可以沿图逐段相乘—— 图模型做的全部事情,就是让这个乘法链条尽可能短。

5. 有方向的图:贝叶斯网络​

贝叶斯网络用有向无环图描述依赖:联合概率分解为每个变量 「给定父节点」的局部条件概率的连乘(式 14.8)5。

书在两处钉死了同一个警告:连边说的是「局部条件分布依赖谁」, 只有额外引入因果假设时,才可以进一步解释为因果影响6。 箭头不是因果,这一点贯穿全书。

这一族里的熟面孔:朴素贝叶斯分类器(给定类别,特征条件独立—— 假设很强但简单、少样本不易过拟合)、隐马尔可夫模型(隐变量排成 马尔可夫链,每个观测依赖当前隐状态)、Sigmoid 信念网络(条件概率用 Logistic 函数参数化,父节点 M 个时参数从 2^M 降到 M+1)7。

6. 三种局部结构决定了什么时候独立​

两个不直接相连的节点是否条件独立,取决于路径中间的局部结构和 「中间变量被观测了没有」。书列了三种结构8:

结构形状不观测中间点观测中间点
链式X₁→X₂→X₃不独立独立(信息被截断)
分叉X₁←X₂→X₃不独立独立(共同原因被锁定)
汇聚X₁→X₂←X₃独立不独立!

汇聚结构是反直觉的那个:两个原因本来各不相干,一旦观察到共同结果, 它们反而变得相关——书给的名字叫解释消除(看到「草坪湿了」, 「下雨」和「洒水」这两解释开始打架)9。

这三条局部规则拼起来,就是判断独立性的通用方法 d-分离的核心直觉: 链式和分叉是「观测中间点则阻断」,汇聚恰好相反——「不观测才阻断, 观测了(或观测了它的后代)反而打通」10。另一个等价说法是 局部马尔可夫性质:每个变量给定父节点后,独立于所有非后代11。

7. 没有方向的图:马尔可夫随机场​

有些依赖天生对称(图像相邻像素的相容性),硬加箭头反而别扭。 马尔可夫随机场(MRF)用无向图:每个变量给定邻居后独立于其余 所有变量(局部马尔可夫性质,式 14.15)12。

无向图没有拓扑顺序,不能按乘法拆解逐个展开;分解单位换成团 (全连通子图),最大团是不能被其他团包含的团13。Hammersley-Clifford 定理保证:满足局部马尔可夫性质的分布,恰能写成最大团上非负函数 (势函数)的乘积,再除以一个归一化常数——配分函数 Z14:

  p(x) = (1/Z) · Π_c φc(xc)          Z = Σ_x Πc φc(xc)

Z 要对所有取值组合求和,「计算复杂度是指数级的,因此在推断和 参数学习时都需要重点考虑」——书把话挑明:无向图与有向图最重要的 区别就是这个 Z,它是一切困难的来源15。

把势函数写成 exp(−能量),就得到玻尔兹曼分布——能量越低概率越高; 这个形式的模型叫吉布斯分布。书在此处给第 36 章留了门:「满足正性条件的 无向图模型都可以用这个式子表示联合概率」16。熟面孔:对数线性/最大熵 模型(势函数取 exp(θᵀf),条件版就是第 09 章的 Softmax 回归)、 条件随机场 CRF(直接建模 p(y|x),线性链结构常用于序列标注)17。

8. 两种图之间怎么换:道德化​

有向图转无向图是实用的方向(可以借用无向图上的推断算法,见第 35 章)。 规则:保留原有连边,再把共同父节点两两连边——这个过程叫道德化, 名字来源书给了个妙喻:「有共同儿子的父节点都必须结婚(即有连边)」18。

代价要记牢:道德化会丢独立性。书里的例子:X₁、X₂、X₃ 原本 无观测时相互独立;为了把共同儿子 X₄ 归团,三个父亲之间加了边, 这份独立性在道德图里不复存在19。

9. 能数的就数,数不动的只能近似​

参数估计的难度图景,书分得很清:

  • 全可观测的有向图:对数似然按局部条件概率拆开,每个变量的参数 可以分开最大化——离散情形直接数条件概率表,这就是最大似然20;
  • 无向图:梯度是「数据里的特征期望 − 模型分布下的特征期望」。 前一项好算(数数据),后一项要算 p(x;θ) 下的期望——配分函数把所有 参数耦合在一起,无法分解成独立的局部估计。只能近似:采样或变分近似 模型期望、伪似然等局部替代目标、以及玻尔兹曼机里用的对比散度21。 (对比散度的机制第 36 章拆。)

10. 有隐变量时:先猜它是谁,再更参数​

观测不到的变量(第 26 章「不可观测变量」欠的债)使边际似然变成 「对数里套求和」,梯度推不进去22。解法分两步:

引入一个自己挑的分布 q(z) 套进对数,用 Jensen 不等式得到证据下界(ELBO):

  log p(x;θ) ≥ ELBO(q, x;θ) = E_q[ log p(x,z;θ)/q(z) ]

q 恰好等于后验 p(z|x;θ) 时下界贴住真值23。于是有了 EM 算法的两步交替24:

  • E 步:固定 θ,令 q = p(z|x;θ)——把下界贴住对数似然 (这一步本质是推断问题,后验难算时要靠第 35 章的近似);
  • M 步:固定 q,最大化 ELBO——抬高下界,等价于一次全观测的参数估计。

可以证明每次迭代对数似然单调不减(收敛到局部最优)25。

另起的第二处走查:一维两成分高斯混合跑一轮 EM​

主走查的四个二值变量上没有连续隐变量,EM 的两步走不出数,所以这里另起。 数据 {1, 2, 9, 10}(演示);K=2;初始 μ₁=3、μ₂=7、σ₁=σ₂=2、π₁=π₂=0.5。

E 步:算后验责任度 γₙ₁ = π₁𝒩(x;3,2) / (π₁𝒩(x;3,2)+π₂𝒩(x;7,2))26:

x𝒩(x;3,2)𝒩(x;7,2)γₙ₁(属于成分1)
10.1210.0020.982
20.1760.0090.952
90.0020.1760.013
100.0000.1210.004

M 步:按责任度加权更新(N₁=Σγₙ₁=1.950)27:

  π₁ = N₁/N = 1.950/4 ≈ 0.49          (混合系数:成分1 略小于一半)
  μ₁ = Σγₙ₁x / N₁ = 3.03/1.95 ≈ 1.56  (均值往左侧数据跑)
  μ₂ = Σ(1−γₙ₁)x / (N−N₁) ≈ 9.25     (对称地往右侧跑)
  σ₁² = Σγₙ₁(x−μ₁)²/N₁ ≈ 0.74        (方差公式同法,数值为演示)

一轮读法:起点(3 和 7)谁也不挨着谁,E 步按「高斯下谁更近」分配责任, M 步按责任重新估计——隐变量「这些点各属哪堆」和参数「每堆长什么样」 鸡生蛋蛋生鸡,EM 的办法是让它们轮流先走一步。迭代到不动,收敛到局部最优。

11. 作者的判断与证据​

书里给了定理与推导的: 15→9 的参数账3;Hammersley-Clifford 定理与 玻尔兹曼分布1416;无向图梯度=两个期望之差21;ELBO 与 EM 两步、 单调收敛232425;GMM 的闭式更新27。

书里给了警告的: 箭头默认不是因果6;道德化丢独立性19; 配分函数指数复杂15;EM 只保证局部最优25。

书里给了统一视角的: 「图模型回答模型该分解成哪些概率因子, 神经网络回答这些因子如何用可学习函数表示」;VAE(变分自编码器)、GAN(生成对抗网络)、扩散模型、流模型 都能放进这个框架——这是第 37、38 章的入口28。

12. 边界与局限​

结构学习被整章跳过:书只讨论给定图结构时的参数估计;怎么从数据里 学出图本身,只有一句「打分搜索、条件独立性检验」的名字29。

连续变量的非线性依赖未展开:例子多为离散或高斯;图模型与神经网络的 组合(深度马尔可夫模型等)不在书内。

EM 的 E 步在本章假设后验可算:后验算不动时的变分推断与采样, 是第 35 章的主题——本章的 EM 是「精确版」。

13. 可带走的​

  1. 2^100 ≈ 10^30:直接建联合分布不可行;图模型=用条件独立性拆分布;
  2. 四变量小例:两条独立性假设把 15 个参数压到 9 个;
  3. 贝叶斯网络 = 局部条件概率沿有向无环图连乘;箭头不是因果;
  4. 链式/分叉:观测中间点阻断;汇聚:观测中间点反而打通(解释消除);
  5. MRF 按最大团分解;配分函数 Z 是无向图一切困难的来源;
  6. 势函数 = exp(−能量) → 玻尔兹曼分布——第 36 章的地基;
  7. 有向转无向要道德化(共父连边),代价是丢独立性;
  8. 全可观测有向图:逐局部数表即可;无向图被 Z 耦合,只能近似;
  9. 含隐变量:ELBO 搭桥,EM = 「贴住」(E)与「抬高」(M)交替,单调不减;
  10. GMM 一轮 EM:责任度、加权均值、加权方差——第 37 章 VAE 的前身在这里。

14. 原文地图​

主题原书章原文位置
PGM 定义与 10^30第14章 概率图模型text/15-ch14.txt:6(搜「概率图模型 （Probabilistic Graphical Model」) · text/15-ch14.txt:14(搜「1030」)
独立性假设省参第14章 概率图模型text/15-ch14.txt:25(搜「大幅减少」)
四变量 15→9第14章 概率图模型text/15-ch14.txt:28(搜「15 个参数」) · text/15-ch14.txt:43(搜「9 个独立参数」)
三基本问题第14章 概率图模型text/15-ch14.txt:59(搜「三个基本问题」)
贝叶斯网络定义第14章 概率图模型text/15-ch14.txt:106(搜「贝叶斯网络（Bayesian」) · text/15-ch14.txt:119(搜「(14.8)」)
因果警告第14章 概率图模型text/15-ch14.txt:82(搜「因果语」) · text/15-ch14.txt:126(搜「因果」)
Sigmoid 信念网络 / 朴素贝叶斯 / HMM第14章 概率图模型text/15-ch14.txt:195(搜「Sigmoid 信念网络（Sigmoid」) · text/15-ch14.txt:227(搜「朴素贝叶斯（Naive」) · text/15-ch14.txt:262(搜「隐马尔可夫模型（Hidden」)
三种局部结构第14章 概率图模型text/15-ch14.txt:156(搜「链式结构」) · text/15-ch14.txt:164(搜「分叉结构」) · text/15-ch14.txt:168(搜「汇聚结构」)
解释消除第14章 概率图模型text/15-ch14.txt:173(搜「解释消除」)
d-分离第14章 概率图模型text/15-ch14.txt:175(搜「𝑑-分离」)
局部马尔可夫性质第14章 概率图模型text/15-ch14.txt:179(搜「局部马尔可夫性质」)
MRF 定义第14章 概率图模型text/15-ch14.txt:289(搜「马尔可夫随机场（Markov Random Field」) · text/15-ch14.txt:300(搜「(14.15)」)
团与最大团第14章 概率图模型text/15-ch14.txt:319(搜「全连通子图」) · text/15-ch14.txt:322(搜「最大团」)
Hammersley-Clifford 与配分函数第14章 概率图模型text/15-ch14.txt:337(搜「Hammersley-Clifford」) · text/15-ch14.txt:353(搜「配分函数 𝑍」) · text/15-ch14.txt:1045(搜「指数级」)
吉布斯分布与玻尔兹曼分布第14章 概率图模型text/15-ch14.txt:356(搜「吉布斯分布（Gibbs」) · text/15-ch14.txt:363(搜「能量函数（Energy Function」) · text/15-ch14.txt:370(搜「玻尔兹曼分布（Boltzmann」)
对数线性 / CRF第14章 概率图模型text/15-ch14.txt:392(搜「对数线性」) · text/15-ch14.txt:399(搜「Softmax 回归模型」) · text/15-ch14.txt:402(搜「条件随机场（Conditional Random Field」)
道德化第14章 概率图模型text/15-ch14.txt:444(搜「道德化（Moralization」) · text/15-ch14.txt:447(搜「结婚」) · text/15-ch14.txt:446(搜「独立性会丢失」)
参数估计两分第14章 概率图模型text/15-ch14.txt:473(搜「不含隐变量的参数估计」) · text/15-ch14.txt:490(搜「分别最大化」)
无向图梯度与近似第14章 概率图模型text/15-ch14.txt:546(搜「经验分布」) · text/15-ch14.txt:555(搜「耦合在一起」) · text/15-ch14.txt:559(搜「近似的方法」)
ELBO 与 EM第14章 概率图模型text/15-ch14.txt:602(搜「变分函数」) · text/15-ch14.txt:616(搜「证据下界」) · text/15-ch14.txt:631(搜「E 步和 M 步」) · text/15-ch14.txt:654(搜「(14.45)」)
log p = ELBO + KL第14章 概率图模型text/15-ch14.txt:672(搜「(14.49)」)
GMM 与更新式第14章 概率图模型text/15-ch14.txt:707(搜「高斯混合模型（Gaussian Mixture」) · text/15-ch14.txt:762(搜「E 步」) · text/15-ch14.txt:803(搜「拉格朗日乘数法」) · text/15-ch14.txt:811(搜「(14.64)」)
深度生成模型入口第14章 概率图模型text/15-ch14.txt:1534(搜「概率因子」) · text/15-ch14.txt:1538(搜「VAE、GAN、扩散模型和流模型」)

Footnotes​

  1. 出处:「第14章 概率图模型」第 9 至 14 段(text/15-ch14.txt:12,搜「独立假设条件下」; text/15-ch14.txt:14,搜「1030」)。 ↩

  2. 出处:「第14章 概率图模型」第 15 至 25 段(text/15-ch14.txt:17,搜「条件概率的乘积」; text/15-ch14.txt:25,搜「大幅减少」)。 ↩

  3. 出处:「第14章 概率图模型」第 26 至 43 段(text/15-ch14.txt:28,搜「15 个参数」; text/15-ch14.txt:43,搜「9 个独立参数」),式(14.3)-(14.7)。 ↩ ↩2

  4. 出处:「第14章 概率图模型」第 44 至 49 段(text/15-ch14.txt:45,搜「图结构的方式将概率模型可视化」); 三基本问题见第 59 至 65 段(text/15-ch14.txt:59,搜「三个基本问题」)。 ↩

  5. 出处:「第14章 概率图模型」第 111 至 122 段(text/15-ch14.txt:111,搜「定义 14.1」; text/15-ch14.txt:119,搜「(14.8)」)。 ↩

  6. 出处:「第14章 概率图模型」第 80 至 83 段(text/15-ch14.txt:82,搜「因果语」; text/15-ch14.txt:126,搜「因果」)。 ↩ ↩2

  7. 出处:「第14章 概率图模型」第 195 至 204 段(text/15-ch14.txt:202,搜「2𝑀 个参数」); 朴素贝叶斯见第 227 至 259 段(text/15-ch14.txt:237,搜「条件独」;text/15-ch14.txt:258,搜「在少样本场景下不易过」); HMM 见第 261 至 286 段(text/15-ch14.txt:276,搜「联合概率可以分解为」),式(14.14)。 ↩

  8. 出处:「第14章 概率图模型」第 154 至 173 段(text/15-ch14.txt:156,搜「链式结构」; text/15-ch14.txt:164,搜「分叉结构」;text/15-ch14.txt:168,搜「汇聚结构」)。 ↩

  9. 出处:「第14章 概率图模型」第 168 至 173 段(text/15-ch14.txt:173,搜「解释消除」)。 ↩

  10. 出处:「第14章 概率图模型」第 174 至 178 段(text/15-ch14.txt:175,搜「𝑑-分离」)。 ↩

  11. 出处:「第14章 概率图模型」第 179 至 185 段(text/15-ch14.txt:179,搜「局部马尔可夫性质」), 式(14.9)。 ↩

  12. 出处:「第14章 概率图模型」第 288 至 314 段(text/15-ch14.txt:289,搜「马尔可夫随机场（Markov Random Field」; text/15-ch14.txt:300,搜「(14.15)」),式(14.15)。 ↩

  13. 出处:「第14章 概率图模型」第 316 至 331 段(text/15-ch14.txt:319,搜「全连通子图」; text/15-ch14.txt:322,搜「最大团」)。 ↩

  14. 出处:「第14章 概率图模型」第 337 至 350 段(text/15-ch14.txt:337,搜「Hammersley-Clifford」; text/15-ch14.txt:343,搜「势能函数（Po」),式(14.16)-(14.17)。 ↩ ↩2

  15. 出处:「第14章 概率图模型」第 352 至 355 段(text/15-ch14.txt:353,搜「配分函数 𝑍」; text/15-ch14.txt:1045,搜「指数级」)。 ↩ ↩2

  16. 出处:「第14章 概率图模型」第 356 至 372 段(text/15-ch14.txt:356,搜「吉布斯分布（Gibbs」; text/15-ch14.txt:363,搜「能量函数（Energy Function」;text/15-ch14.txt:362,搜「能量越低」), 式(14.18)-(14.20)。 ↩ ↩2

  17. 出处:「第14章 概率图模型」第 380 至 399 段(text/15-ch14.txt:392,搜「对数线性」; text/15-ch14.txt:399,搜「Softmax 回归模型」); CRF 见第 401 至 418 段(text/15-ch14.txt:402,搜「条件随机场（Conditional Random Field」)。 ↩

  18. 出处:「第14章 概率图模型」第 429 至 448 段(text/15-ch14.txt:444,搜「道德化（Moralization」; text/15-ch14.txt:447,搜「结婚」)。 ↩

  19. 出处:「第14章 概率图模型」第 446 至 448 段(text/15-ch14.txt:446,搜「独立性会丢失」)。 ↩ ↩2

  20. 出处:「第14章 概率图模型」第 476 至 495 段(text/15-ch14.txt:490,搜「分别最大化」; text/15-ch14.txt:498,搜「条件概率表」),式(14.27)-(14.29)。 ↩

  21. 出处:「第14章 概率图模型」第 523 至 561 段(text/15-ch14.txt:546,搜「经验分布」; text/15-ch14.txt:555,搜「耦合在一起」;text/15-ch14.txt:559,搜「近似的方法」; text/15-ch14.txt:561,搜「对比散度」),式(14.33)-(14.37)。 ↩ ↩2

  22. 出处:「第14章 概率图模型」第 597 至 601 段(text/15-ch14.txt:599,搜「对数函数的内部进」)。 ↩

  23. 出处:「第14章 概率图模型」第 602 至 622 段(text/15-ch14.txt:602,搜「变分函数」; text/15-ch14.txt:616,搜「证据下界」;text/15-ch14.txt:622,搜「相等」), 式(14.41)-(14.43)。 ↩ ↩2

  24. 出处:「第14章 概率图模型」第 629 至 645 段(text/15-ch14.txt:630,搜「E 步和 M 步」; text/15-ch14.txt:632,搜「E 步（Expectation Step」),式(14.44)。 ↩ ↩2

  25. 出处:「第14章 概率图模型」第 650 至 656 段(text/15-ch14.txt:654,搜「(14.45)」; text/15-ch14.txt:1131,搜「单调」亦可按短语「对数边际似然增加」定位); 信息论分解见第 657 至 678 段(text/15-ch14.txt:672,搜「(14.49)」),式(14.46)-(14.49)。 ↩ ↩2 ↩3

  26. 出处:「第14章 概率图模型」第 762 至 774 段(text/15-ch14.txt:774,搜「后验概率」; text/15-ch14.txt:774,搜「后验概率」亦可按「𝛾𝑛𝑘」定位),式(14.56)-(14.58)。 ↩

  27. 出处:「第14章 概率图模型」第 803 至 821 段(text/15-ch14.txt:803,搜「拉格朗日乘数法」; text/15-ch14.txt:811,搜「(14.64)」;text/15-ch14.txt:807,搜「𝑁𝑘」),式(14.63)-(14.66)。 ↩ ↩2

  28. 出处:「第14章 概率图模型」第 1532 至 1545 段(text/15-ch14.txt:1534,搜「概率因子」; text/15-ch14.txt:1538,搜「VAE、GAN、扩散模型和流模型」; text/15-ch14.txt:1544,搜「并没有取代概率图模型」)。 ↩

  29. 出处:「第14章 概率图模型」第 462 至 467 段(text/15-ch14.txt:465,搜「打分搜索」)。 ↩