人工智能 · 从零学起 第 5 / 5 节

第 V–VI 篇(部分) · 学习与哲学(第 18–22、26–27 章选读)

机器学习进入 AIMA 的位置是"让智能体的部件自我改进":从决策树到深度学习、从强化学习到理性 agent 的哲学边界。这一节是全书学习部分的地图与收官反思。

学习的形式化与监督学习谱系

学习 = 从数据中改进性能度量 $P$ 下的表现。决策树(信息增益选择 + 剪枝)、线性模型与逻辑回归(损失 + 梯度)、核方法与 SVM(间隔与对偶)——经典三件套在本篇的讲法更侧重"归纳偏置"的分析:每种模型的先验假设决定它的适用边界。模型选择与诊断(偏差-方差、正则化、交叉验证)作为通用纪律反复强调。

深度学习与表示

神经网络从感知机到深度网络的复兴逻辑:算力 + 数据 + 表示学习;反向传播与随机梯度;CNN/RNN/Transformer 的架构直觉(局部性、时序、注意力)——AIMA 以"架构 = 注入先验"的统一视角讲网络,与专门教材互为补充。

强化学习与理性Agent 的闭环

无模型 RL(MC/TD/Q-learning)与策略梯度(衔接第 17 章的 MDP):学习智能体 = 搜索/规划部件 + 学习部件的闭环——AI 的完整拼图在此合龙。迁移学习、元学习、模仿学习作为"数据效率"的现代议题。

哲学与伦理的收官反思

  • 强 AI 之争:中文屋、图灵测试的再审视、意识与"行为等价"的距离——本书的态度:工程理性优先,哲学问题保持开放;
  • AI 伦理的可操作维度:公平性(数据偏见的传递)、透明性(可解释要求)、安全(对齐与可控性)、就业与责任分配;
  • AI 的未来:能力增长曲线、人类水平的里程碑预测、以及"控制问题"(目标错设的后果)——第 27 章把"价值对齐"作为理性 agent 框架的边界问题正式提出。
原文要点:第 19 章把"学习的统一理论"表述为"在假设空间中按先验与数据选假设",统计学习理论(PAC 界)给出泛化的样本复杂度公式;第 22 章强化学习一节强调探索-利用与函数近似的结合是"理性学习的最后一块拼图";第 27 章明确列出 AI 伦理的可检查清单,并指出"目标定义的偏差会被优化器放大"是安全问题的技术根源。

老师的提醒

  • AIMA 的学习篇当"地图"用:想深入哪个分支(树/深度/RL)就按它给的接口去专门教材——它的价值在统一视角与工程语境。
  • 哲学章不要跳过:可解释性、公平性、对齐是 AI 工程的"需求分析"——技术选型时这些约束比准确率高一个百分点更致命。

自检

  • 归纳偏置如何决定模型适用边界?(举决策树与 SVM 对比)
  • 学习智能体与理性 agent 框架的闭环关系?
  • AI 安全中"目标错设被优化放大"的技术含义?

更深一层:学习的统一理论——"假设空间 + 先验 + 数据"

AIMA 学习篇的统一表述值得提炼:学习 = 在假设空间中按先验与数据选假设——PAC 界给出泛化的样本复杂度(样本量 vs 假设空间容量 vs 置信度的三方约束)。归纳偏置(每种模型的先验假设)决定适用边界:决策树的偏置是"轴平行划分"、SVM 是"大间隔"、神经网络是"层次组合"——没有免费的午餐定理(所有学习算法在所有问题上的平均性能相同)是这个框架的理论终点:不存在万能学习器,只有"先验匹配数据"的合适选择。

这个框架的现代验证:GPT 的"规模假说"(数据 + 算力 + 通用先验 = 涌现能力)与"没有免费午餐"的表面矛盾,由"自然数据不是均匀分布"(文本/图像有强结构)解释——大模型的成功是"通用先验恰好匹配自然数据的结构"。

推导细读:强化学习 = 理性智能体的"学习部件"

强化学习在 AIMA 的位置是学习智能体的闭环:理性智能体 = 搜索/规划部件 + 学习部件——RL 让"评估与规划"可以从经验中学到,而不必全部预编程。无模型 RL(MC/TD/Q-learning)与模型学习(学转移概率 + 值迭代)的分工、探索-利用的权衡、函数近似的致命三要素——这些第 17 章的概念与 Sutton 书(ai-3)互为表里。AIMA 的 RL 是"智能体框架里的学习",Sutton 的 RL 是"试错学习本身"——两本对照读,一个给"为什么学",一个给"怎么学"。

在真实世界里:AI 伦理的"可操作维度"

第 27 章的伦理反思值得落地为可操作清单:公平性(数据偏见的传递——训练数据的社会偏差会被模型放大)、透明性(可解释要求——医疗/金融的监管刚需)、安全(对齐与可控性——目标错设的后果)、责任分配(AI 决策的法律责任归属)。"目标定义的偏差会被优化器放大"是安全问题的技术根源——AI 工程的需求分析里,这些约束比准确率高一个百分点更致命。

专题深入:学习理论的"统一视角"完整版

AIMA 第十八-二十一章的学习部分以贝叶斯学习作为统一视角:监督学习(朴素贝叶斯、线性回归、决策树的概率重述——"同一算法的概率解释与启发式解释并存":决策树 = 贪心近似后验、正则化 = 先验);学习理论的三层(无免费午餐定理(不存在普适最优学习器——归纳偏置是必需品)、PAC 可学习性、VC 维与样本复杂度);参数估计方法对照(MLE/MAP/全贝叶斯——"点估计 → 后验 → 全积分"的三级台阶);EM 与缺失数据(与 PRML 呼应);核方法与 SVM(最大间隔的几何);集成学习(bagging 的方差削减 + boosting 的偏差削减——"两条削减路线");神经网络的联结主义回归(多层感知机 → 反传 → 深度学习——AIMA 新版把深度学习纳入"学习"大章,与花书形成互相引用)。

推导细读:强化学习与自然语言的"现代章节"完整版

新版 AIMA 的两个现代重头:强化学习章(与 Sutton 呼应但更紧凑:passive 学习(评估固定策略:TD/蒙特卡洛)→ active 学习(Q-learning)→ 函数近似 → 策略梯度与 Actor-Critic——"泛化 + 探索 + 信用分配"三难的表述值得对照);自然语言处理章(从 n-gram 到神经语言模型:"语言模型 = 序列概率分布"的统一定义——n-gram 的马尔可夫假设 → RNN 的隐状态 → Transformer 的注意力——"上下文建模方式的进化史";词向量(word2vec 的负采样)、预训练-微调范式、注意力机制的数学——AIMA 第四版把 LLM 时代的"预训练 + 对齐"写进教科书,标志着 AI 课程体系的历史性转折)。知识与学习之争的哲学收尾(符号主义 vs 联结主义 vs 统计学习——"神经符号结合"作为开放前沿)。

工程案例细节:学习系统的产业出口与"AI 全景"工程版

十八-二十二章的工程出口:推荐系统的完整栈(协同过滤(矩阵分解的概率版)→ 深度推荐(双塔 + 序列建模)——"AIMA 学习章 + 概率章的组合应用");NLP 的产业出口(机器翻译的统计→神经换代、对话系统的检索式→生成式、"LLM 的 RAG + 工具调用"是新版知识工程——知识库(逻辑章遗产)与语言模型(学习章)的合流);机器人学章(定位-建图-规划-控制的完整管线——粒子滤波(SLAM 的粒子滤波版)+ A*/RRT 路径规划 + PD 控制——"全书算法在机器人上的总装");计算机视觉章(从图像形成到 CNN 检测分割——"成像物理 + 学习"的双层);哲学章的工程翻译(奇点讨论的冷静版:算力外推的边界、中文屋的工程含义——"能力与理解"的区别在测试集泄漏与泛化的现实讨论中有对应物)。AIMA 的总姿态:把 AI 当"智能体工程学"——任何系统都能放进"环境分类 + 智能体设计 + 学习方法"的三轴坐标——这是它作为"现代方法"的持久价值。

例题

迷你数据集:晴(是玩)、晴(玩)、雨(不玩)、雨(不玩)。用决策树(信息增益)判断根节点该用"天气"还是直接预测多数类;计算决策树相对多数类基线的训练误差改进。

解答

多数类基线:预测"玩"——训练误差 2/4 = 50%。

按天气分裂:晴 → 玩(纯)、雨 → 不玩(纯)——两个叶子熵都是 0:

$$H(D|A) = 0, \qquad g(D, A) = H(D) = 1\ \text{(完美分裂)}$$

训练误差 0——改进 50 个百分点。

  • 警惕:训练误差 0 ≠ 好——4 个样本的完美树是过拟合的极端画像;剪枝/最小叶样本数就是把"训练完美"往"泛化"拉回去的缰绳。

本页是《人工智能:现代方法(第四版)》第 5 节的学习笔记:为便于初学,讲解、例题与要点概括均为本站原创整理,公式与章节定位供对照原书使用。

📑 本书目录 经典研读