数据截至 (上游 commit c187ef3271d5)
看得更细 — 框、像素,和一次只改图不改网络的训练
这一章讲三件事。第一件:同一张图,答案可以问得越来越细。 上一章问的是「这张图是什么」,这一章依次问「每个东西在哪」和「每个像素属于谁」。
第二件:越细的答案,要越贵的标注,也要新的标尺。 「框得差不多对」不是是非题, 得有一条能算出数来的线;而这条线又催生出一个能汇总整个数据集的分数。
第三件,是全书最反直觉的一节:训练不一定在调权重。 把网络整个冻死、让第 01 章那个「往哪边挪」的信号去改输入图像本身 —— 这就是风格迁移。它证明了一件事:那个循环里被挪动的东西,可以不是网络。
在全书链条里的位置: 三个零件里,这一章换的还是「数据摆成什么形状」和 「输出层配哪个损失」—— 只不过标签从「整张图一个数」变成了一堆框、一整张掩码, 最后干脆变成输入图自己。
这一章也是全书自相矛盾最集中的一段。 我们逐条核过,四处都给了行号,你可以自己去看。
1. 顶层全景:同一批航拍羊,从「有羊」到「每只羊在哪」
这一章的主走查是一批无人机拍的航拍照片,画面里散着一群羊, 要模型把每一只羊各框出来1。链条是这样的:
3609 张训练图(每张里好多只羊,每只都有一个人工画好的框)
│
├─① 把框的写法从一种格式换成另一种 ──→ 一行一个框的文本文件
│
├─② 按框架要的目录结构摆好 ──────────→ images/ 和 labels/ 各三份
│
├─③ 加载一个别人训好的检测模型 ──────→ 接着往下训 10 轮
│
├─④ 拿一张没见过的图去问 ────────────→ 它先吐出一大堆候选框
│
├─⑤ 砍掉「我不太确信」的 ────────────→ 剩下少数几个
│
├─⑥ 把叠在同一只羊上的合成一个 ──────→ 每只羊剩一个框
│
└─⑦ 用「交并比」判命中,汇总成一个分数 → 这次训得好不好
图说:①② 是数据准备,③ 是训练,④⑤⑥ 是模型每次推理都要走的三步,⑦ 是评估。 这一章另外还有两条独立的走查 —— 洪水区域分割和风格迁移, 它们用的是完全不同的数据,读到第 7、8 节时请当心别和这条混起来。
2. 三种「看懂」,和它们各自的价钱
上一章开头那张图给了三级答案,这一章要把后两级做出来2:
| 问法 | 答案长什么样 | 一张图要标什么 |
|---|---|---|
| 图像分类(上一章) | 一个标签 | 在文件夹里放对位置就行 |
| 目标检测 | 一堆矩形框,每个框带一个类别 | 人工把每个东西各框一遍 |
| 语义分割 | 一张和原图一样大的图,每个像素一个类别 | 人工把每一块区域涂出来 |
那些矩形框有个正式名字:边界框3。
代价这一列才是这一章真正的成本线。 书讲分割时把标注过程描述得很直白: 你得在一个标注工具里,像「按数字填色」那样把属于某一类的区域一块块涂出来 —— 又费时间,又没什么智力含量,但不做就没有训练数据4。 这类「人工给数据配上答案」的活,行话叫数据标注。
书里为此推荐了一个免费工具(Label Studio),但明说本章跳过这一步, 直接挑了一个已经配好掩码的数据集5。
要标多少张? 书给的是一串影响因素,不是一个数字6:图片要清晰、框要画准 (标错会误导模型、还会拖长训练);素材要多样(不同角度、不同大小、不同光照, 甚至互相遮挡一部分也有用);要区分的类别越多、类别之间越像,就要越多数据。 它给的底线是:每个类别至少几百张标注良好的图片。
但这条底线有一个大幅折扣的前提,而它值得单独记一笔: 书说做目标检测几乎总是应该用一个别人已经训好的网络, 因为它已经「看过」几百万张图,现在只需要学会认出你要的那几种东西。
用了这一招,每类几十张到 100 张就可能够了7。 几百张 vs 几十张,差一个数量级 —— 这件事为什么成立、怎么做,第 12 章整章讲。
3. 检测怎么做到:只看一遍
先看现象,再看做法。 最直觉的办法是:拿上一章那个分类器, 在图上一格一格地滑,每停一处问一次「这里有没有羊」。问题是图上位置太多、 框的大小又有无数种,这样试一遍慢得没法用。
书把真实做法分成两条路线8:
| 路线 | 怎么做 | 取舍 |
|---|---|---|
| 两阶段 | 先挑出「这里可能有东西」的若干块区域,再对每块做分类 | 准,但慢 |
| 单阶段 | 定位和分类在同一趟里一起出来 | 快 —— 检测常用在实时场景 |
单阶段里最有名的一个,名字本身就是它的做法:你只看一遍(YOLO)9。 它的流程是三步。
第一步:把图切成网格,每一格负责报「中心落在我这一格里」的东西。 一格报出若干个框,外加每个框的一个数10。
第二步:那个数叫置信度 —— 「我有多确信这个框里真有东西」。 设一条门槛,低于门槛的框直接扔掉11。
第三步:同一个东西往往被好几个相邻的格子各报了一遍,框互相压着。 这时用一个叫非极大值抑制的算法收尾:留下置信度最高的那个框, 把和它重叠、可能指同一个东西的其余框全部抹掉。 每个物体最后只剩最可靠的那一个框12。
这三步里,第三步依赖一个还没定义的东西:「重叠」到底怎么量? 下一节就是它。
4. 框「差不多对」怎么量:交并比与 mAP
先看现象: 预测框和人工画的框几乎不可能严丝合缝地重合。 那么「这算不算框对了」就不是 是非题,得有一条能算出数来的线。
书给的量法叫交并比(IoU),定义只有一句: 两个框重叠部分的面积,除以两个框合起来盖住的总面积13。 取值在 0 到 1 之间:
IoU = 0.1 IoU = 0.5 IoU = 0.9
两框只擦了个边 大致对上了 几乎完全重合
图说:书用这三档给读者建立量感 —— 0.5 就是「差不多对了」的那一档。
书自己就是这么读它的:重合得很少时值很小;重合得相当好时大约是 0.5; 几乎完美时接近 114。
有了这条线,「命中」才有定义:先定一个门槛,IoU 超过门槛才算命中。 最常用的门槛是 0.5,按这个门槛把整个数据集上的精确率汇总成一个数, 就是你在检测这一行到处会见到的 mAP5015。
还有一个更严格的版本 mAP50-95:把门槛从 0.5 到 0.95、每隔 0.05 算一遍再取平均。 它逼模型不只是「框到了」,还得框得准 —— 书说它给出的画面更稳健16。
顺便把一个到处都会撞见的统称定下来:mAP50、精确率、召回率这些 「专门算出来给模型打分」的数,有个统称就叫指标。
训练过程里另外还有三条曲线要看,它们把「哪里没学好」拆开了17:
| 曲线 | 它在量什么 |
|---|---|
| box loss | 框的位置和大小画得准不准 |
| cls loss | 框里那个东西的类别判得对不对 |
| dfl loss | 一种较新的损失,专门用来把框的位置定得更准 |
判断(我们的,不是书里的):书在这里列了一个不存在的格子。 它把上一章那张四格表原样搬过来讲检测,列出了真阳、真阴、假阳、假阴四项18。 可目标检测根本没有真阴 —— 真阴的意思是「这里没有东西,模型也说没有」, 而一张图上「没有框的地方」有无穷多个位置,你没法把它们数出来。 这恰恰就是检测必须用 mAP 而不能用准确率的原因:准确率的分母里有真阴, 而这个分母在检测里不存在。书列了这一格,后面再也没用过它。 如果错,会错在: 如果把图硬性切成有限个网格、并把「这一格没有物体」当成一次真阴, 那么真阴是可数的 —— 但那样一来,真阴会淹没其余三格,任何模型的准确率都接近 100%, 这个数照样没有意义。判据是:书自己后面报的全是精确率、召回率和 mAP,一次都没报准确率。
5. 同一个框有三种写法,换错一种全盘皆错
这一节讲的是一个纯工程陷阱,但它坑掉的人比上面所有机制加起来都多。
一个矩形框要用四个数描述。问题在于:哪四个数,业界有三套互不兼容的约定, 分别由三个不同的团队定下来,各自跟着一套数据格式19:
| 写法 | 那四个数是什么 | 标注文件长什么样 |
|---|---|---|
| Pascal VOC | 左上角、右下角两个点的坐标 | XML,一张图一个文件 |
| COCO | 左上角坐标 + 宽 + 高 | JSON(一种给程序读的文本格式,一层层嵌套着「名字:值」),所有标注挤在一个文件里 |
| YOLO | 中心点坐标 + 宽 + 高,而且四个数都除以图的宽高,变成 0 到 1 | 一张图一个文本文件,一行一个框 |
为什么这件事致命: 同样的四个数 (100, 80, 40, 30),
按 COCO 读是「左上角在 (100,80),框宽 40 高 30」,
按 YOLO 读是「中心在 (100,80)」—— 两个框差了半个框的距离,而且程序不会报错。
模型照着错位的标注训一遍,损失也会下降,只是学出来的东西是错的。
所以数据格式和算法对不上时,必须显式换算 —— 这正是主走查第 ① 步在做的事20。
6. 主走查:3609 张航拍羊,从换格式走到一张标好框的图
下面凡是标了「书里的数」的都来自原书;标了「演示用」的是我们为讲清一步编的。
第 ① 步,换格式。 数据是 HuggingFace 上的航拍羊群数据集,
训练 3609 张、验证 350 张、测试 174 张21。
书把每个框的四个数除以图的宽和高,归到 0 到 1,再按「一行一个框」写进文本文件,
每行前面加一个 0 表示类别编号22。
第 ② 步,摆目录。 框架要求图片和标注分开放,各自再分训练/验证/测试:
images/train、labels/train、images/val …… 一共六个目录23。
再写一个配置文件告诉它:数据在哪、要认几类(nc: 1)、这一类叫什么(names: ['sheep'])24。
第 ③ 步,加载现成模型接着训。 一行 YOLO('yolov8n.pt') 就把一个别人训好的模型拉下来;
然后 model.train(epochs=10, imgsz=320, batch=16):训 10 轮、图统一缩到 320、每批 16 张25。
注意这里没有第 01 章那种手写循环 —— 整个训练被这个框架收走了。
顺带一说:这一段代码里还有一行设置环境变量(在程序外面挂一个「名字=值」的开关, 程序一启动就去读它)的语句,把训练记录写到本地一个文件夹。
它挂的那个工具叫 MLflow,是用来把每次训练的参数和成绩存档的 —— 书在这里直接用了它,而它是什么要到原书第 12 章才讲,中间隔了八章26。 你现在只需要知道这一行不影响训练结果;这套工具第 14 章会专门讲。
第 ④ 步,推理:先吐出一大堆候选框。 训完之后加载成绩最好的那份权重, 拿测试集里的一张图去问27。模型按第 3 节那三步走。
假设图里有一只羊站在偏左上的位置,它周围三个格子各报了一个框 (以下这组数是为演示编的,不是书里的真实数值):
候选框 A:置信度 0.91 候选框 B:置信度 0.78 候选框 C:置信度 0.34
第 ⑤ 步,按置信度砍。 门槛设 0.5,C 直接出局,剩 A 和 B。
第 ⑥ 步,去重。 A 和 B 压在同一只羊上,算一下它们的交并比: 假设重叠面积占两框合起来的 82%,也就是 IoU = 0.82,远高于「算同一个东西」的门槛。 于是留下置信度最高的 A,抹掉 B —— 这只羊最后只剩一个框(这三个数同样是演示用的)。
第 ⑦ 步,评估。 把上面这套动作在验证集的每张图上跑一遍, 逐个框和人工框比交并比、按 0.5 的门槛判命中,汇总成 mAP50;再按 0.5 到 0.95 汇总成 mAP50-95。 书报的是训练曲线的走向:三条损失一路下降,而精确率、召回率、mAP 一路上升, 说明模型确实在学会认羊和定位28。
第 ⑧ 步,看结果。 把预测框叠回原图,书的评语是羊被识别得相当好29。
判断(我们的,不是书里的):第 ① 步的格式,正文和代码对不上。 正文说这份数据是 COCO 格式(左上角 + 宽高),必须换成 YOLO 格式30; 可两处代码都是按「中心点 + 宽高」在算的 —— 画框那一段的注释白纸黑字写着 「从
[x_center, y_center, width, height]转成[x_min, y_min, x_max, y_max]」, 而且减的是宽高的一半;写标注文件那一段也直接把四个数命名成x_center, y_center, width, height31。 两者只有一个能对。 如果正文对(数据真是 COCO),那么写出去的每个标注都整体偏了半个框; 如果代码对(数据本来就是中心格式),那么正文那句「它们是 COCO 格式」是错的。 旁证偏向后者: 画框那段代码给三个坐标各加了一个+10的偏移量, 这种硬凑的数通常是「怎么画都对不齐」时留下的痕迹。 如果错,会错在: 如果那个数据集的框确实是左上角格式、而代码里的变量名只是起错了名字, 那么正文对、代码错,结论要反过来 —— 但无论哪一种,这两处不一致是确定的。 判据:打开数据集看一个框的四个数,和图里羊的实际位置比一下。
7. 另起一条走查:细到每个像素
这一节和主走查用的不是同一份数据,请当心。
问题变了。 分类的答案是一个数,检测的答案是四个数; 分割的答案是一整张图 —— 和原图一样大,只不过每个位置存的不是颜色,是类别编号32。 一张 128×128 的图,答案就是 16384 个数。
做法是把网络掰成两段,合起来长得像一个 U,所以这种架构常被叫作 U-Net33。 两段各管一件事。
前半段叫编码器:一路缩小,和上一章那条「一边缩尺寸一边涨通道」的路子一样, 它负责回答「图里有什么」—— 但位置信息在缩小的过程中被磨掉了。
后半段叫解码器:一路放大回原来的尺寸,负责回答「在哪儿」, 把抽象特征翻译回逐像素的判断34。
输入图 ─ ─→ [编码器:越缩越小] ──→ 瓶颈 ──→ [解码器:越放越大] ──→ 逐像素的类别图
这是什么 在哪儿
图说:U 形的两条腿就是这一缩一放。但书没画那个 U 上最关键的一样东西 —— 见下面的补充。
补充(不在书里,依据我们的 ai-book-reference 书架): U 形结构真正的关键不是「缩了再放」,而是把编码器每一级的特征直接横向抄送给解码器对应的那一级。 理由很硬:瓶颈是故意压细的,细节在那里必然丢失;而分割恰恰需要像素级的精确边界。 所以「是什么」走瓶颈,「在哪里」走这条捷径。这一层没有,U 就只是两条腿、没有横杠35。
这一次的数据: 290 张洪水区域照片,每张配一张人工涂好的掩码,只分两类:淹了、没淹36。 切成 232 张训练 / 58 张验证 —— 听着少得可怜, 但书当场提醒了一句很值钱的话:每张图有 128 × 128 = 16384 个目标值, 所以监督信号的总量并不小37。
走一遍:
一张洪水照片
→ 缩到 128×128、转成张量 图:[8, 3, 128, 128] (一批 8 张、彩色 3 通道)
→ 掩码同样缩到 128×128、去掉通道 掩码:[8, 128, 128]
→ 掩码里大于 0.5 的记 1、其余记 0 这一步把灰度掩码变成 0/1 两类
→ 送进一个别人训好的分割模型,接着训 10 轮
→ 预测出来的每个像素给一个数,大于 0 记 1
→ 三张图并排:原图 | 人工掩码 | 模型掩码
图说:书的评语是模型给出的掩码已经和人工掩码相当接近38。 这里的形状变化就是这一节的全部要点:输入是三通道的彩色图,答案是一张单通道的类别图。
「拿别人训好的模型接着往下训」这件事有个名字,叫微调 —— 第 12 章整章讲它。
判断(我们的,不是书里的):这一节讲的是 U-Net,跑的却不是 U-Net。 代码加载的是
nvidia/mit-b0,而书自己在讲另一种网络结构时早就许诺过: 「我们不从零实现这套结构,而是在 §4.5 把这样一个模 型微调到我们的数据上」39 —— §4.5 正是这一节。所以这一节实际跑的是那种「把图切成小块当序列读」的结构 (上一章第 8 节讲过入口),不是它刚讲完的编码器-解码器。 书没有把这两句接起来,读者会以为自己训的就是刚讲的那个 U-Net。 如果错,会错在: 如果nvidia/mit-b0其实是一个卷积编码器而不是那种结构, 这条判断就不成立。判据在书里而不在别处:上一章那句许诺明确写着「在 §4.5 微调这样一个模型」, 而 §4.5 只加载了这一个模型。
8. 另起第二条走查:把网络冻死,改的是图
这一节是全书最反直觉的一处,而且它是一根伏笔 —— 第 12 章会回来收。
先看现象: 给一张汉堡的照片配上《神奈川冲浪里》那幅浮世绘, 输出一张「同样的景、浮世绘的笔触」的新图40。
然后是那个反转。 第 01 章那个循环里,固定的是数据、变的是权重。 风格迁移把这两样对调了:书自己的说法是,它不是传统意义上的模型训练, 因为没有任何模型权重被调整 —— 权重被冻结(锁死、不再更新), 被反复调整的是那个「目标」,也就是正在生成的那张图本身41。
传统训练: 输入(固定) → 模型(权重在变) → 输出
风格迁移: 输入(在变!) → 模型(权重冻死) → 输出
图说:同一个循环,挪的东西换了。梯度这次流回的不是权重,是像素。
代码上就是一行: 把内容图复制一份,给它打开「这张图要算梯度」这个开关, 然后把这份图交给优化器 —— 优化器的调节对象从模型参数变成了这张图的像素42。
用来打分的那台网络是 VGG19。 书说它是为一场大型图像分类竞赛做的, 一共 24 层,其中 16 层卷积 + 5 层池化 + 3 层全连接;池化层没有可训练的参数, 所以「带参数的层」只有 19 层,名字里那个 19 就是这么来的43。 它在整个过程里一个字都不改。
关键设计:内容和风格从网络的不同深度取。 这正好用上了上一章那条层级特征 —— 浅层认边缘纹理,深层认大块形状。所以内容从较深的一层取(它记的是「画面里有什么」), 风格从浅到深好几层一起取(它们记的是笔触和色块)44。
那「风格」到底是什么?这一节最要紧的定义在这里。 书给的答案是:风格 = 哪些特征爱一起出现,以及出现得有多频繁 —— 把这件事算出来的那个东西叫 Gram 矩阵45。
它怎么算(书给了四步)46:
① 取某一层的输出:C 个通道,每个通道是一张 H×W 的特征图
② 把每张特征图拉直,得到 C 行、H×W 列的一张表
③ 这张表乘上它自己的转置,得到一个 C×C 的方阵
—— 第 (i, j) 格 = 第 i 个通道和第 j 个通道逐位置相乘再求和(这叫点积)
这个数大,说明这两种特征常常同时出现在同一个位置
④ 除以 C×H×W 做一次缩放,免得不同大小的特征图算出来量级差太多
图说:第 ③ 步是全部的机制。 注意它把「在画面哪个位置」整个丢掉了 —— 矩阵里只剩「谁和谁一起出现」,不剩「出现在哪」。 这正是我们想要的:风格是不该带位置的。
这一次的走查:
内容图:一张汉堡的照片 风格图:《神奈川冲浪里》
→ 两张都缩到 224×224、按 VGG 的均值方差缩放 形状 [1, 3, 224, 224]
→ 把 VGG19 全部权重冻死
→ 生成图 = 内容图的一份复制,挂上「要算梯度」
→ 每一轮:
内容差 = 生成图在深层的特征 与 内容图在同一层的特征 之差
风格差 = 生成图在五个层的 Gram 矩阵 与 风格图的 Gram 矩阵 之差
(五层的权重从浅到深是 1.0 / 0.8 / 0.6 / 0.4 / 0.2)
总差 = 风格差 × 2000000 + 内容差 × 1
→ 反向传播,优化器改的是生成图的像素,学习率 0.003
→ 转 500 轮,每 100 轮存一张图
图说:那个 200 万比 1 的悬殊配比不是笔误。 书解释得很清楚: 两种差值本身的量级差得极远,给风格差乘一个大系数,只是为了把它们拉到可比的量级上47。 书最后描述的效果是:随着训练推进,画面里的天空越来越多地被用来表现浮世绘里的浪48。
9. 书里的立场与证据
书里给了证据的:
- 交并比那三档(0.1 / 0.5 / 0.9) —— 配了图,直观且标准;
- 检测训练确实在进步 —— 三条损失下降、三个指标上升,是真实跑出来的曲线;
- 风格迁移的效果 —— 有分阶段保存的图为证。
作者的经验判断(书里没给证据):
- 「每类至少几百张,用了预训练几十张也够」 —— 经验法则,书自己用的措辞是 「没有固定的数字」;
- 「两阶段更准、单阶段更快」 —— 这是行业通识,书没给对比实验;
- 五个风格层的权重 1.0 / 0.8 / 0.6 / 0.4 / 0.2、以及 200 万这个系数 —— 都是拍下来的,书只解释了「为什么需要一个大系数」,没解释为什么是这个数。
书里没交代来历的: 这一章出现的三个机制 —— YOLO、U-Net、风格迁移 —— 全书没有引用任何一篇论文。我们补在了脚注里49。
10. 边界与局限
这本书对的地方先说清: 这一章把「答案越问越细 → 标注越来越贵 → 标尺也得跟着换」 这条线索排得很清楚,而且每一级都真的跑通了一个例子。 标注格式那一节尤其实用 —— 那是新手最常栽的坑,很多教材根本不提。
但有四处照抄会踩坑,都给了行号:
- 检测的四格里列了不存在的真阴 —— 见第 4 节末的判断块;
- 框格式正文 与代码对不上 —— 见第 6 节末的判断块;
- 讲了 U-Net 却跑了另一种结构 —— 见第 7 节末的判断块;
- 算 Gram 矩阵的那个函数忘了写返回语句。 函数体算完最后一步就结束了,
什么都没交回去 —— 照抄会拿到一个空值,后面全崩50。
同一节还有两处名字对不上: 正文定义的层字典叫
STYLE_LOSS_LAYERS, 函数里用的却是LOSS_LAYERS;超参数那一行写的是小写的vgg_mean, 预处理里用的却是大写的VGG_MEAN。三处都是照抄跑不起来的那种错。
还有一处过时和一处版本落差:
- 加载 VGG19 用的是
pretrained=True,这个参数从 torchvision 0.13(2022)起已经改成weights=; - 书里画的那张检测架构图是 YOLO 第 1 代(448×448 输入、7×7×30 输出),
而代码跑的是
yolov8n.pt—— 第 8 代。中间隔了七代,书没提这件事。 架构图当「一阶段检测大概长什么样」看没问题,当「你正在跑的这个模型」看就错了。
这一章没覆盖的:
- YOLO 内部怎么把「一个格子」变成「几个框加置信度」,书只给了三步流程,没给结构;
- 实例分割(同类的两个东西也要分开)一个字没提,只讲了语义分割;
- 标注工具只演示了界面,没讲怎么组织标注团队、怎么保证一致性;
- 公式全是图片 —— 交并比、Gram 矩阵的算式在原文里一个字都没有, 上面 那几处算式是我们按书的文字描述重写的。
11. 可带走的
主走查一行写完: 3609 张航拍羊 → 框从一种格式换算成「中心点 + 宽高 + 归一化」
→ 摆成 images/labels 六个目录、配置里写 nc: 1 → 加载 yolov8n.pt 训 10 轮
→ 推理时先出一堆候选框、按置信度砍、再按交并比去重 → mAP50 / mAP50-95 汇总。
- 答案越细,标注越贵:整图一个标签 → 每个东西一个框 → 每个像素一个类;
- 检测两条路线:两阶段准而慢,单阶段(YOLO)快;实时场景用后者;
- YOLO 三步:网格出框 → 按置信度砍 → 非极大值抑制去重;
- 交并比 = 交集面积 ÷ 并集面积;0.5 是「差不多对了」那一档;
- mAP50 是按 0.5 门槛汇总的分数,mAP50-95 更严格 —— 它逼你不只框到、还要框准;
- 检测没有真阴,所以不能用准确率,只能用 mAP;
- 框有三套写法(两角 / 左上加宽高 / 中心加宽高并归一化),换错一种程序不报错、模型学错;
- 分割 = 逐像素分类;编码器一路缩问「是什么」,解码器一路放问「在哪儿」;
- U 形结构真正的关键是编码器到解码器的横向抄送,书没画这一层;
- 232 张图不算少 —— 每张 128×128 = 16384 个目标值;
- 风格迁移把循环倒过来:权重冻死,梯度去改输入图的像素;
- 风格 = 哪些特征爱一起出现,用 Gram 矩阵算,它故意不含位置信息;
- 内容取深 层、风格取多层;风格权重要乘 200 万,只是为了和内容差同量级。
12. 原文地图
| 主题 | 原书章 | 原文位置 |
|---|---|---|
| 检测的定位与边界框 | Chapter 4 | text/06-ch04-chapter-4.txt:1274(搜「we’ll go beyond that」) · text/06-ch04-chapter-4.txt:1276(搜「called bounding boxes」) |
| 两阶段 vs 单阶段 | Chapter 4 | text/06-ch04-chapter-4.txt:1292(搜「two-stage and single-stage」) · text/06-ch04-chapter-4.txt:1297(搜「you only look once」) |
| YOLO 三步 | Chapter 4 | text/06-ch04-chapter-4.txt:1299(搜「places a grid over the image」) · text/06-ch04-chapter-4.txt:1316(搜「confidence value」) · text/06-ch04-chapter-4.txt:1320(搜「nonmax suppression」) |
| 三种标注格式 | Chapter 4 | text/06-ch04-chapter-4.txt:1384(搜「University of Oxford」) · text/06-ch04-chapter-4.txt:1401(搜「upper left and lower right corners」) |
| 要标多少数据、预训练的折扣 | Chapter 4 | text/06-ch04-chapter-4.txt:1452(搜「quality of the images」) · text/06-ch04-chapter-4.txt:1461(搜「almost always use a pretrained network」) · text/06-ch04-chapter-4.txt:1476(搜「few hundred well-annotated images」) |
| 数据规模与格式换算 | Chapter 4 | text/06-ch04-chapter-4.txt:1445(搜「Number of images in train: 3609」) · text/06-ch04-chapter-4.txt:1410(搜「Convert boxes from」) · text/06-ch04-chapter-4.txt:1532(搜「Normalize bounding box coordinates」) |
| 目录结构与配置文件 | Chapter 4 | text/06-ch04-chapter-4.txt:1477(搜「stored in the corresponding folders」) · text/06-ch04-chapter-4.txt:1554(搜「The nc parameter describes」) |
| 加载与训练、MLflow 那一行 | Chapter 4 | text/06-ch04-chapter-4.txt:1598(搜「YOLO('yolov8n.pt')」) · text/06-ch04-chapter-4.txt:1617(搜「epochs=10, imgsz=320」) · text/06-ch04-chapter-4.txt:1601(搜「MLflow is generally used to manage」) |
| 三条损失曲线 | Chapter 4 | text/06-ch04-chapter-4.txt:1636(搜「Box losses」) · text/06-ch04-chapter-4.txt:1642(搜「Distributed focal losses」) |
| 勘误 检测的四格里有真阴 | Chapter 4 | text/06-ch04-chapter-4.txt:1663(搜「True negative」) |
| 交并比与 mAP | Chapter 4 | text/06-ch04-chapter-4.txt:1691(搜「intersection over union」) · text/06-ch04-chapter-4.txt:1712(搜「the IoU value will be very」) · text/06-ch04-chapter-4.txt:1717(搜「mAP50」) · text/06-ch04-chapter-4.txt:1730(搜「mAP50-95」) |
| 训练走向与推理 | Chapter 4 | text/06-ch04-chapter-4.txt:1735(搜「positive training curve」) · text/06-ch04-chapter-4.txt:1787(搜「superimposed on the image」) |
| 分割:逐像素、U-Net、编码器解码器 | Chapter 4 | text/06-ch04-chapter-4.txt:1805(搜「predicted for each individual pixel」) · text/06-ch04-chapter-4.txt:1828(搜「U-Net because it has a U-shaped structure」) · text/06-ch04-chapter-4.txt:1835(搜「decoder part of the network」) |
| 人工标注掩码的代价 | Chapter 4 | text/06-ch04-chapter-4.txt:1868(搜「manually annotate each of the source images」) · text/06-ch04-chapter-4.txt:1890(搜「painting by numbers」) |
| 洪水数据、三份大小、16384 个目标值 | Chapter 4 | text/06-ch04-chapter-4.txt:1813(搜「290」) · text/06-ch04-chapter-4.txt:2041(搜「Training samples: 232」) · text/06-ch04-chapter-4.txt:2045(搜「16,384 target values」) |
| 掩码二值化与形状 | Chapter 4 | text/06-ch04-chapter-4.txt:1997(搜「Convert to binary mask」) · text/06-ch04-chapter-4.txt:2056(搜「torch.Size([8, 3, 128, 128])」) |
| 加载的分割模型与 ViT 那句许诺 | Chapter 4 | text/06-ch04-chapter-4.txt:2074(搜「nvidia/mit-b0」) · text/06-ch04-chapter-4.txt:2143(搜「adapt mask to have value 1」) · text/06-ch04-chapter-4.txt:221(搜「fine-tune」) |
| 风格迁移:权重冻结、改的是目标 | Chapter 4 | text/06-ch04-chapter-4.txt:2192(搜「classic sense because no model weights」) · text/06-ch04-chapter-4.txt:2195(搜「weights are frozen and the target value」) · text/06-ch04-chapter-4.txt:2458(搜「generated_image = content_img.clone()」) |
| VGG19 的层数与两处取特征 | Chapter 4 | text/06-ch04-chapter-4.txt:2215(搜「16 convolutional layers」) · text/06-ch04-chapter-4.txt:2219(搜「higher the abstraction level」) · text/06-ch04-chapter-4.txt:2382(搜「STYLE_LOSS_LAYERS」) |
| Gram 矩阵的定义与四步 | Chapter 4 | text/06-ch04-chapter-4.txt:2415(搜「Gram matrix, which」) · text/06-ch04-chapter-4.txt:2425(搜「independent of the exact spatial arrangement」) · text/06-ch04-chapter-4.txt:2432(搜「posed matrices」) |
| 两个权重的量级差与结果 | Chapter 4 | text/06-ch04-chapter-4.txt:2268(搜「very different orders of magnitude」) · text/06-ch04-chapter-4.txt:2277(搜「STYLE_WEIGHT = 2000000」) · text/06-ch04-chapter-4.txt:2505(搜「the sky more and more」) |
| 勘误 Gram 函数没有返回、两处变量名对不上 | Chapter 4 | text/06-ch04-chapter-4.txt:2440(搜「def calc_gram_matrix」) · text/06-ch04-chapter-4.txt:2402(搜「if name in LOSS_LAYERS」) · text/06-ch04-chapter-4.txt:2278(搜「vgg_mean」) |