跳到主要内容

大纲 — Embedded Artificial Intelligence(9 章)

切分口径:按推理链切,不按原书章号硬切。原书 5 章讲义 → 我们 9 章: ch2(ASR)内容最厚且自带「传统→端到端→压缩」一条链,拆两章; ch3(表征)「器件是什么」和「怎么测」是两个完全不同的知识面,拆两章; ch4(通信)跨越「历史/收发机」「Walsh 信号处理」「语义通信」三张地图,拆成三章并把 历史那部分与 ch1(6G 清单)合并——两者同属「应用侧的拉力」; ch1 本身太薄(只有提纲),不独立成章。 每个新词密度高的地方(ASR 管线、表征方法)按节配额拆细。

主线(一句话)​

把深度学习塞进电池供电的小设备,不是「把程序烧进芯片」一件事, 而是从晶体管、测量、电路、信号处理到通信定义的整条链都要重新发明—— 这本书是一场把电路工程师和深度学习研究者拉进同一间教室的暑期学校, 我们沿「一只入耳翻译机」把这间教室从里到外走一遍。

各章​

01 这本书在桥接什么(原书:引言;文件 01-bridging-what.md)​

  • §1 这是一本什么书:IEEE CAS 暑期学校的讲义集 —— 进来时以为:又一本 AI 通识书 → 出去时知道:这是给「会电路不懂学习、会学习不懂电路」两群人互相补课的课堂实录,每章一场报告
  • §2 「嵌入 AI」到底指什么:在边缘设备上跑模型 —— 进来时以为:嵌入式=把软件烧进芯片 → 出去时知道:模型要变小、硬件要省电、隐私要留在本地,三个约束同时成立才叫嵌入 AI
  • §3 全书地图:从沙子到语义的一条链 —— 进来时以为:五章各讲各的 → 出去时知道:五章正好是器件→测量→电路→信号→应用的完整纵切,合起来是一部「翻译入耳机」的制造说明书
  • §4 三个欧洲项目怎么把链条连起来 —— 进来时以为:项目名是背景噪音 → 出去时知道:FVLLMONTI(器件+语音)、HERMES(射频)、RadioSpin(自旋电子)各占链条一段,书里几乎每个数字都出自它们

02 通信这边的拉力:从电报到 6G(原书 ch4 前半 + ch1;文件 02-from-telegraph-to-6g.md)​

  • §1 一百五十年走的是同一条路 —— 进来时以为:6G 是新话题 → 出去时知道:从电报、无线电、雷达、手机到 6G,每一代都是「更高频率、更大带宽」这条路的下一格
  • §2 消息怎么骑上电波:载波与调制 —— 进来时以为:信号自己飞过去 → 出去时知道:消息必须搭在载波上,「改载波的什么」只有三个选项:幅度、频率、相位
  • §3 收发机的骨头,和真正的瓶颈:数据转换 —— 进来时以为:难在射频天线 → 出去时知道:数字↔模拟转换才是功耗、速度、分辨率的三难;5G 的要求是「同一带宽里同时听见火箭和苍蝇」
  • §4 6G 的采购清单:频谱、能效、三维连接 —— 进来时以为:6G 只是更快 → 出去时知道:6G 规划 120-180GHz 频段、星地一体三维连接,而头号挑战是能效,不是速度
  • §5 工艺损伤清单:8 个拖后腿的物理事实 —— 进来时以为:电路设计是画图问题 → 出去时知道:热噪声、相位噪声、ADC 分辨率等 8 条工艺层损伤,每一条都直接给信号处理封顶

03 语音识别(上):传统管线(原书 ch2 前半;文件 03-asr-classic-pipeline.md)​

  • §1 一段录音里有多少种信息 —— 进来时以为:录音=文字的音频版 → 出去时知道:同一段信号里有说话人身份、语言、情绪、病理状态,识别文字只是取其中一层
  • §2 人怎么发声:声源-滤波器模型 —— 进来时以为:声音从嘴里直接出来 → 出去时知道:肺供气流、声带定音高、声道当共振器,共振峰的位置决定你听到的是哪个音
  • §3 最早的机器怎么听:共振峰、DTW 与它们的死穴 —— 进来时以为:语音识别是神经网络时代才有的事 → 出去时知道:1950s 就能认十个数字,DTW 解决了语速问题,但换一个人、加一个词就要推倒重来
  • §4 连续语音为什么难:连词的边界都找不到 —— 进来时以为:认词难是因为词多 → 出去时知道:真正的墙是信号里根本没有「词与词的间隙」这个物理事实
  • §5 给声音瘦身:频谱图与 Mel 刻度 —— 进来时以为:机器直接听波形 → 出去时知道:滑窗傅里叶把波形变频谱(512 个数),Mel 滤波器按人耳刻度压到 40 个数
  • §6 HMM 管线:三个模块接力 —— 进来时以为:识别是一步到位的 → 出去时知道:声学模型、发音词典、语言模型三段接力,贝叶斯公式把三者拼成一个「找最可能句子」的问题
  • §7 为什么用音素当单位,以及怎么给机器打分 —— 进来时以为:按词建模天经地义 → 出去时知道:法语两万多个词 vs 20-60 个音素,音素赢在数量;WER 是给系统打分的通用尺
  • 主走查:一个词从麦克风波形到文本输出的全程(编演示数处当场写明)。

04 语音识别(下):端到端与压缩(原书 ch2 后半;文件 04-asr-end-to-end-compression.md)​

  • §1 端到端要替掉什么 —— 进来时以为:神经网络只是把 HMM 换了个内核 → 出去时知道:三个模块整条换成一个网络,连「音素」这个单位都可以扔掉(改用字符或子词)
  • §2 三大家族:CTC、RNN-T、注意力 —— 进来时以为:端到端是一种架构 → 出去时知道:是一族架构,分歧全在「输入帧和输出字符没对齐」这件事怎么处理
  • §3 Transformer 与 Conformer 进场 —— 进来时以为:语音识别用的是另一套网络 → 出去时知道:机器翻译的那套架构搬过来就是最强基线,Conformer=Transformer 加一个卷积模块
  • §4 主走查:把 99MB 的模型压进 20MB —— 进来时以为:压缩靠黑科技 → 出去时知道:量化+剪枝两条朴素手段,Libritrans 上 99→20MB、WER 只从 6.6 升到 7.2;四个语言都复现 ~5 倍
  • §5 反直觉:更好的架构更怕剪 —— 进来时以为:强模型怎么压都行 → 出去时知道:Conformer 基线 WER 2.8 优于 Transformer 3.4,但剪 30% 后是 49.6 对 4.5——架构间没有免费的压缩
  • §6 账单与边界:端到端的代价 —— 进来时以为:神经网络全面胜利 → 出去时知道:数据不足就翻车、训练要 GPU 数周、模型上手机仍是挑战;FVLLMONTI 的低资源成绩单好于 SoA 但绝对值不低

05 晶体管(上):结less垂直纳米线(原书 ch3 前半;文件 05-junctionless-nanowire.md)​

  • §1 开关为什么必须立体化 —— 进来时以为:晶体管就是越做越小 → 出去时知道:平面缩小撞了短沟道效应的墙,路线图(GAA+结less)是立体化的两步棋
  • §2 主角登场:垂直纳米线长什么样 —— 进来时以为:晶体管是平的一片 → 出去时知道:几根垂直纳米线并联、共享全环绕栅、上下端是 PtSi 肖特基接触
  • §3 它凭什么「无结」:和教科书晶体管的根本不同 —— 进来时以为:所有晶体管原理一样 → 出去时知道:均匀掺杂、无偏压时全耗尽=关;阈值是「全耗尽→部分耗尽」的转折,正常工作区叫门控电阻
  • §4 这只晶体管和 AI 有什么关系 —— 进来时以为:器件物理和 AI 不相干 → 出去时知道:FVLLMONTI 的入耳机就压在这类器件上;存内计算要的垂直集成,靠的就是这种新兴器件

06 晶体管(下):怎么测量比探针小一千倍的东西(原书 ch3 后半;文件 06-measuring-nanoscale.md)​

  • §1 测量为什么难 —— 进来时以为:接上电表就有数 → 出去时知道:探针垫比器件大一千倍,测到的永远是「器件+一堆寄生」的混合物
  • §2 两步去污染:校准与去嵌 —— 进来时以为:校准是例行公事 → 出去时知道:SOLT 校准把参考面推到探针尖,open/short 假件再去掉测试结构;对纳米器件这一步错,后面全错
  • §3 老方法在 3D 器件上失效:负电容 —— 进来时以为:老方法顶多不精确 → 出去时知道:平面时代的 open-short 去嵌对垂直器件算出负电容——物理上不存在的数,直接宣判方法作废
  • §4 主走查:电磁仿真重建寄生网络 —— 进来时以为:去嵌靠解析公式 → 出去时知道:测 open 结构到 40GHz→EM 仿真验证→虚拟结构补全→等效电路 MODEL2→ABCD 矩阵逐级剥离;新方法给出正的、物理的电容
  • §5 直流参数:阈值电压怎么取才可信 —— 进来时以为:阈值一眼看出 → 出去时知道:三种主流取法各有偏差,结less器件用 d(gm/ID)/dVG 峰值法;直径 22nm 是栅控与离散度的折中
  • §6 热的问题:这个器件的电流随温度升高 —— 进来时以为:发热必然降性能 → 出去时知道:结less器件反着来(VTH 随温度下降主导);热阻用 VTH 两个变化率之比测出,热阻抗是两极点网络
  • §7 不拆开看缺陷:脉冲 I-V 与低频噪声 —— 进来时以为:看缺陷要拆芯片 → 出去时知道:短脉冲把自热与陷阱隔开(方向还和 MOS 相反),1/f 噪声按偏压定位来源,最后喂给 SPICE 参数 KF

07 电路的数学自救:Walsh、Hilbert 与省电的射频(原书 ch4 中;文件 07-walsh-hilbert-radio.md)​

  • §1 正弦波不是必须的 —— 进来时以为:无线电天生用正弦波 → 出去时知道:Hadamard/Walsh 证明方波也能当基,而方波正好是数字电路的母语
  • §2 主走查:一只 60mW 的宽带转换器 —— 进来时以为:5G/6G 射频必然高功耗 → 出去时知道:本作 65nm/0.75GHz/9b/3GS/s 只用 60mW,对照表里 16nm 同类要 350-530mW——省电靠换数学,不靠堆工艺
  • §3 放大器的非线性怎么治:数字预失真 —— 进来时以为:放大器失真只能换更好的放大器 → 出去时知道:在数字域先「预拧歪」,过放大器正好扳直;Volterra 级数带上记忆,Walsh 基下 WLMS 比 LMS 收敛更快
  • §4 HERMES:往 sub-THz 走 —— 进来时以为:6G 频段等工艺成熟 → 出去时知道:Hilbert 变换直接生成无镜像的信号,卷积窗几十 ns 就够;CMOS 做 sub-THz 认知无线电是 H2020 在押注的方向
  • §5 账单:Walsh 路线的收益与代价 —— 进来时以为:省电没有代价 → 出去时知道:镜像抑制靠窗化,窗化的代价是抬高噪底;收益是低复杂度、低功耗、信道聚合

08 从传比特到传意思:语义通信(原书 ch4 尾;文件 08-semantic-communication.md)​

  • §1 香农的账和韦弗的账 —— 进来时以为:通信的目标是把比特传对 → 出去时知道:香农管「传得准」,韦弗追问「传这个干什么」;传统系统为极低误码率传高精度原始数据,接收方未必需要
  • §2 主走查:同一段信息的两种发法 —— 进来时以为:语义通信是概念噱头 → 出去时知道:先理解再传,只发对接收方有用的那层意思——带宽和能耗一起省;智能自主射频的能耗目标是除以一千到一万
  • §3 边缘优先于云 —— 进来时以为:6G 还是把数据送云上 → 出去时知道:书里引用的方向是 sub-THz 短程、边缘优先:容量、时延、能效三个数一起改善
  • §4 落到物理信道:Walsh 与 OSDM —— 进来时以为:语义是应用层的事,和射频无关 → 出去时知道:正交序列分割复用(OSDM)用 Walsh 系数直接按语义约束整形频谱;语义优化随时间越用越准

09 Green AI:最好的节能是不生成无用数据(原书 ch5;文件 09-green-ai-frugality.md)​

  • §1 电费账单 —— 进来时以为:AI 的成本是 GPU 卡 → 出去时知道:ICT 用电 2020 约 5%、2030 预测 20%,冯·诺依曼架构的大头是「搬数据」而不是「算」
  • §2 大脑只用 20W:另一条计算路 —— 进来时以为:神经网络就该跑在 GPU 上 → 出去时知道:事件驱动的脉冲网络只在「有事件」时算;专用芯片(TrueNorth/Loihi/TPU)已经在证明这条路
  • §3 STDP:不靠标签的学习规则 —— 进来时以为:学习必须反向传播 → 出去时知道:两个神经元谁先放电决定连接增强还是减弱,规则局部、无监督,芯片上就是一条时序窗口
  • §4 忆阻器:器件本身就是突触 —— 进来时以为:突触只是一段代码 → 出去时知道:忆阻器的阻值随事件幅度、次数、时长改变——学习发生在材料里;铁电忆阻器实测出类 STDP 行为
  • §5 主走查:N-MNIST 上从 0% 到能认 —— 进来时以为:神经形态一把就成 → 出去时知道:事件相机扫 MNIST 数字、10µs STDP 窗,天真规则识别率 0%(事件不够),改学习规则才起效——实验室通往产品的真实距离
  • §6 结论与冷水 —— 进来时以为:Green AI 是宣传词 → 出去时知道:作者的原话是「要在大幻灭前解决能耗」;CMOS 不够、非传统纳电子将担纲、离工业产品还长;而最省的节能是不生成无用数据

自查记录​

  • 「出去时知道」两两比对:02§4(6G 清单)vs 02§5(工艺损伤)——前者是要什么,后者是被什么卡住,不同;02§3(数据转换瓶颈)vs 07§2(60mW 转换器)——问题与解法,07 开头回指 02;03§7(WER/音素)vs 04§1(单位可换)——前是传统管线的取单位理由,后是端到端把理由作废,链条关系;05§3(无结原理)vs 06§6(JL 电流随温升)——原理与可测推论,06 回指 05;08§1(两种账)vs 09§1(电费)——通信能耗 vs 计算能耗,08 的「÷1000-10000」是通信侧,09 是计算侧,不重。无合并项。
  • 每章主走查:01 入耳机拆箱 / 03 一个词的转写全程 / 04 99MB→20MB / 06 EM 重建寄生网络 / 07 60mW DAC / 08 两种发法对比 / 09 N-MNIST;02 用「火箭和苍蝇」60dB 当锚、05 用「从关到开扫一遍偏压」当走查。均有书内数字。
  • 原书覆盖核对:引言→01;ch1→02§4-5;ch2→03/04;ch3→05/06;ch4→02/07/08;ch5→09。全覆盖。