第 9–12 章 · 专用架构与应用版图

最后一部分是"分支地图"：卷积（视觉）、循环（序列）、表示学习与生成模型的方法论，以及实际工程的视角。这些章节是各专门领域（视觉/NLP/生成）教材的导引牌。

卷积网络：空间结构的先验

三支柱：局部连接（近处相关）、权值共享（平移不变——参数骤降）、池化（平移不变性的近似）。卷积层 $h^l = \sigma(W * h^{l-1} + b)$ 的参数量与输入尺寸无关；堆叠卷积 + BN + ReLU + 池化 + 全连接头 = AlexNet 时代的标准配方；感受野随深度线性扩张、网络随深度层次化特征——"深度"在视觉里的含义。经典谱系：LeNet → AlexNet（ReLU+GPU+Dropout）→ VGG（小卷积堆深）→ GoogLeNet（多分支）→ ResNet（残差连接 $h = f(x) + x$ 解决深网梯度退化——恒等映射让深度可加厚）。

循环网络：序列的先验

RNN $h_t = f(W h_{t-1} + U x_t + b)$ 共享时间维权重；BPTT 沿时间反传，梯度消失/爆炸（雅可比连乘）用门控解决：LSTM/GRU 的门（输入/遗忘/输出）让"长程信息"走加法通路。双向 RNN 与编码器-解码器（seq2seq）接通翻译任务，注意力机制（对齐加权的上下文）在此萌芽——通往 Transformer 的前一站。

表示学习与生成方法论

• 自编码器：编码-重建学习表示；变分自编码器（VAE）把潜变量贝叶斯化（重参数化技巧 $z = \mu + \sigma\odot\epsilon$ 让采样可微）；
• 表示 learning 的理念：好的表示 = 解耦变化因子——监督预训练 → 无监督预训练 → 自监督的谱系；
• 实用方法学（第 12 章）：性能度量的选择（AUROC/困惑度/mIoU）、基线先行、消融实验、默认超参表、调试技巧（过拟合小样本检查实现）——方法论与模型同等重要。

老师的提醒

• 架构选择的思维模板：数据有什么结构（空间/序列/图）→ 选匹配先验的架构 → 用标准化组件搭（Conv/LSTM/Attention + BN + 残差）。
• ResNet 的残差连接值得手推梯度：恒等旁路让梯度有一条"直达高速"——深度的自由由此而来。

自检

• 卷积三支柱各自的先验含义？
• LSTM 的门如何缓解梯度消失？
• VAE 的重参数化技巧解决什么不可导问题？

更深一层：卷积的"先验注入"是架构的全部意义

卷积网络的三支柱（局部连接、权值共享、池化）每一条都是先验注入：局部性（近处相关——图像的空间结构）、平移不变（同一特征在任何位置——参数骤降）、层级组合（感受野随深度扩张——边缘→纹理→部件→物体）。先验越强数据需求越少，代价是假设失效时上限受限——这就是为什么 CNN 统治视觉而 Transformer 统治序列：架构选择 = 数据结构的先验匹配。ResNet 的残差连接值得单独停留：$h = f(x) + x$ 让梯度有一条"直达高速"——深度的自由由此而来。

推导细读：循环网络与"梯度通路"的设计

RNN 的 BPTT（沿时间反传）的梯度连乘在长序列上指数衰减（梯度消失）或爆炸——门控机制（LSTM/GRU 的输入/遗忘/输出门）的精髓是让"长程信息"走加法通路（cell state 的加性更新不经过压缩非线性，梯度不衰减）。这个"加法通路"思想在现代架构里反复出现：ResNet 的残差连接、Transformer 的残差 + LayerNorm——梯度通路设计是深度学习的隐藏主线。

在真实世界里：架构选择的"思维模板"

架构选择的思维模板：数据有什么结构（空间/序列/图/表格）→ 选匹配先验的架构（CNN/Transformer/GNN/GBDT）→ 用标准化组件搭（Conv/Attention + 归一化 + 残差）→ 基线先行 → 消融实验。"从简单基线逐步增强"是实验方法学的总纲——性能度量的选择（AUROC/困惑度/mIoU）、默认超参表、调试技巧（过拟合小样本检查实现）是方法论的另一半。模型只是方法论的 40%——剩下的 60% 是数据、评估与工程纪律。

专题深入：CNN/RNN/表示学习的架构经济学完整版

第九-十二章把架构选择变成经济学问题。CNN 的三先验（局部性、平移等变、层级组合）翻译为三参数节省：局部连接（参数 ∝ 感受野而非输入大小）、权值共享（一个核扫全图）、池化的粗粒度不变性——卷积核的可视化（第一层边缘检测器）证明网络自发学到了视觉皮层式特征。感受野的算术（$r_{l+1} = r_l + (k - 1)\prod s_i$）决定"看多远"——ResNet 的全局感受野设计、语义分割的多尺度 dilated 卷积都是感受野预算学。RNN 的梯度时序账（BPTT 的 $\prod W^T$ 连乘：谱半径 < 1 梯度消失、> 1 爆炸——LSTM 的门控让记忆通路带"加法梯度高速路"；Transformer 用注意力一步跨任意距离，直接取消递归——这是架构史的分水岭）。表示学习的两条路线（有监督预训练 → 自监督对比学习 SimCLR/CLIP → 掩码重建 BERT/MAE——"好表示 = 可迁移特征"的产业化竞赛）。

推导细读：注意力机制的数学内核完整版

注意力的推导内核值得单独拆解：缩放点积 $\mathrm{Attention}(Q,K,V) = \mathrm{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right)V$ 的三件套语义——$QK^T$ 是全部 query-key 相似度矩阵（关联性打分）、$\sqrt{d_k}$ 缩放防高维点积进入 softmax 饱和区（方差 $\propto d_k$ 的统计事实）、softmax 把分数变成凸组合权重（对 V 加权平均）。自注意力的复杂度账（$O(n^2 d)$：序列长度的平方代价——长文本的稀疏注意力/线性注意力研究动机）；多头机制（h 个子空间并行投影再拼接——不同的头自发分工（句法头/指代头/位置头，可解释性研究的发现））；位置编码（正弦编码的相对性、可学习编码、RoPE 旋转位置编码把相对位置注入内积——LLM 时代的默认选择）。"注意力 = 可微分的软字典查询"一句话统摄 Seq2Seq、ViT、多模态对齐——这是第十章在 2026 年仍是最重要章节的原因。

工程案例细节：应用版图与产业工具链工程版

九-十二章的工程出口：视觉系统的完整栈（分类 ResNet/ViT → 检测 YOLO/DETR → 分割 SAM——SAM 的 promptable 分割改变了标注产业）；语音与序列（CTC 损失的对齐自由、Whisper 的弱监督规模化——"数据规模 + 简单架构"路线的胜利样本）；生成模型四大家（GAN 的对抗博弈与模式坍塌、VAE 的 ELBO 推导、扩散模型的逐步去噪与 score matching、自回归的似然最大化——扩散在图像、自回归在语言的产业格局）；表示迁移的工业用法（CLIP 的图文对齐零样本分类、开源模型的 LoRA 微调经济学——"预训练 + 低秩适配"让小团队用千元卡定制模型）；部署链（量化 INT8/INT4、蒸馏、ONNX/TensorRT——训练 1 分推理 9 分的成本结构决定部署技术栈）。