人工智能 从零学起 · 全书 5 节学习笔记

凸优化(Boyd & Vandenberghe)

凸优化 · Convex Optimization

这本书在讲什么(给完全没接触过的你)

优化问题无处不在:投资怎么分配、天线怎么设计、神经网络的权重怎么定——都是在「约束条件下找最优」。大多数优化问题是深渊(局部最优陷阱),但有一类是天堂:凸优化——局部最优就是全局最优,而且有高效的可靠算法。Boyd 的这本书就是教你:把问题变成凸的,然后解决它。

为什么值得读这一本

这本书是斯坦福同名课程(EE364)的教材,全球采用率最高。它分两半:前半是理论(凸集、凸函数、对偶、KKT),后半是应用(逼近、统计、几何、金融)。它最大的美德:官网免费提供全书 PDF、所有课件、全部习题答案——这是一套自足的免费完整教育。

你需要先会什么(不会也没关系)

需要:①线性代数(矩阵、正定性);②微积分(梯度、Hessian);③不优化基础——书从「什么是优化问题」讲起。编程用 Python(CVXPY)最佳。数学系学生可能嫌它工程气,工程学生可能嫌它理论重——它恰好卡在两者的最佳交点。

怎么用这份学习笔记

下面是全书的逐节笔记目录。每一节都是独立一页:先讲这节解决什么问题,再把核心概念和公式一条条拆开讲,配上原文要点(公式与出处定位)、例题演算和自检问题。建议顺序读,读完一节再点下一节;卡住就回导览页看「新手最容易卡住的三个地方」。

逐节笔记全书 5 节 · 每节一页

全书目录 · 点开每一节

01 第 1 章 · 优化问题:语言与定位这本书的第一件事是把"优化"这个日常词变成精确的语言:目标函数、约束、可行域、最优值。更重要的是预告全书的核心论点——凸性是分水岭:凸问题可以被高效地全… 开始精读 → 02 第 2–3 章 · 凸集与凸函数:判定的眼力这两章是"识别训练":把常见集合与函数的凸性判别法配齐。目标不是背清单,而是练出三秒判断一个对象凸不凸的眼力。… 开始精读 → 03 第 4 章 · 凸优化问题:标准形与变形记把第 2-3 章的积木装配成"问题的家族":线性规划、二次规划、二次约束二次规划、半定规划、锥规划。更重要的手艺是变形记:把一个问题改写成它凸的等价形式… 开始精读 → 04 第 5 章 · 对偶:把问题翻个面看对偶理论是凸优化的皇冠:每个优化问题都藏着一个"影子问题",影子问题的最优值给出原问题的全局下界,强对偶时两者相等。拉格朗日乘子不再只是微积分技巧,而是… 开始精读 → 05 第 9–11 章 · 算法与落地(选读)最后一段是"怎么算":无约束的下降法(梯度、牛顿)、约束问题的等价求解(消元、罚、增广拉格朗日)与内点法的主线。理解算法的性格,才能选对工具。… 开始精读 →
避坑指南新手卡点

新手最容易卡住的三个地方

卡点一:对偶函数的下确界算不出来

对偶函数 g = inf L(x, λ, ν) 是关于乘子的凹函数,求 inf 就是对 x 求导置零再回代。LP 的对偶有固定套路(每个约束一个乘子),多做三道就熟。卡住时回到定义:先写 L,再逐项整理成 x 的仿射函数(凸问题保证可分离)。

卡点二:不知道自己的问题该用哪个求解器

决策树:问题小且需要高精度 → 内点法(CVXPY 默认);问题大且精度要求适中 → OSQP/SCS(一阶法);有整数变量 → Gurobi/COPT。用 CVXPY 建模的好处是换求解器只改一行。

卡点三:拟凸问题不会处理

拟凸(如比率、分式目标)不是凸优化,但二分法可用:每次判断「是否存在可行点使目标 ≤ t」——这个判断子问题是凸的。另一条路:用变量替换或松弛化改造。

学完之后,你会多出什么

学完这本书,你将拥有:把工程与数据问题表达为凸优化并求解的完整能力(建模、理论、算法、落地)、KKT 与对偶的深度理解(读懂 SVM/Lasso/MPC 的理论分析)、以及「最优解附带敏感性报告」的专业习惯。它是控制、金融、通信、机器学习四个方向的共同数学基建。

← 返回经典研读 人工智能 · 相关论文精读

← 经典研读 · 六大方向 36 本经典