人工智能 · 从零学起 第 3 / 5 节

第 4 章 · 凸优化问题:标准形与变形记

把第 2-3 章的积木装配成"问题的家族":线性规划、二次规划、二次约束二次规划、半定规划、锥规划。更重要的手艺是变形记:把一个问题改写成它凸的等价形式。

问题家族与凸性检查

  • LP:线性目标 + 线性约束——最古老最成熟;标准应用: diet 问题、运输、资源分配、博弈的混合策略;
  • QP/QCQP:二次目标($+$ 二次约束);凸 QP($P \succeq 0$)覆盖最小二乘带约束、马科维茨投资组合(协方差半正定的天然应用);
  • SOCP:二阶锥约束 $\|Ax + b\|_2 \le c^Tx + d$——鲁棒最小二乘、投资组合的更精细变体;
  • SDP:半定矩阵变量 + LMI 约束——控制论(李雅普诺夫稳定性)、组合优化的 SDP 松弛、图分割;SDP 是最通用的凸问题类(LP、QP、SOCP 都是其特例);
  • 几何规划:正项式目标的 log 变换后变凸——电路设计(晶体管尺寸)的标配。

变形记:揭示隐藏的凸性

建模实例的三个经典:Chebyshev 中心(最大内切球)、线性分式规划、投资组合(均值-方差前沿的 QP 表述)。

  • 消除变量(等式约束代入)、引入变量(epigraph 变形 $\min t$ s.t. $f(x) \le t$);
  • 凹最大化 → 凸最小化(加负号);分式规划(线性分式保凸);
  • 惩罚与约束的互换:$\ell_1$ 范数 = 绝对值之和 = LP 变形(稀疏回归的凸性来源);$\ell_\infty$ 同理;
  • 非凸问题的凸松弛:整数约束 → 线性/半定松弛(得到下界,分支定界的骨架)——"松弛出界 + 分支逼近"是现代混合整数求解的通用架构。
原文要点:第 4 章强调"同一问题有多个凸表述,选对表述直接决定求解效率":例如同一问题写成 LP/ SOCP/ SDP 的求解时间可差数量级;书中把"epigraph 技巧"标注为最常用的变形(把不可导目标移入约束)。

老师的提醒

  • 建模的肌肉记忆:$\|x\|_1 \le t \Leftrightarrow -t \le x_i \le t$(LP 化)、二次约束 → SOCP 化、矩阵不等式 → SDP 化——三张变换卡贴在手边。
  • 判断"该用哪一类"的次序:能 LP 不 QP、能 QP 不 SOCP、能 SOCP 不 SDP——求解器的规模与稳健性随通用性下降。

自检

  • LP/QP/SOCP/SDP 的标准形与包含关系?
  • 用 epigraph 变形处理 $\min_x \max_i f_i(x)$。
  • 投资组合问题的 QP 模型(目标与约束)?

更深一层:问题家族的"求解器规模等级"

凸问题家族的包含关系值得做成速查卡:LP ⊂ QP ⊂ SOCP ⊂ SDP——LP(线性)最古老最成熟,QP(二次目标)覆盖最小二乘带约束与投资组合,SOCP(二阶锥)覆盖鲁棒最小二乘,SDP(半定矩阵)是最通用的凸问题类(控制论的李雅普诺夫稳定性、组合优化的松弛、量子信息)。选型原则:能 LP 不 QP、能 QP 不 SOCP、能 SOCP 不 SDP——求解器的规模与稳健性随通用性下降。

变形记的手艺清单值得随身:消除变量(等式约束代入)、引入变量(epigraph 变形 $\min t$ s.t. $f(x) \le t$——把不可导目标移进约束)、$\ell_1$ 范数 = LP 变形(稀疏回归的凸性来源)、分式规划(线性分式保凸)。"同一问题有多个凸表述,选对表述直接决定求解效率"——建模层的功力就体现在这里。

推导细读:非凸问题的"凸松弛"

非凸问题的凸松弛是应用数学的"合法越狱":整数约束 → 线性/半定松弛(得到下界,分支定界的骨架)、秩最小化 → 核范数松弛(矩阵补全)、二次约束非凸 QCQP → SDP 松弛。"松弛出界 + 分支逼近"是现代混合整数求解的通用架构——松得好的松弛给出紧的下界,松得差的松弛给出无用的下界。SDP 松弛的著名成功案例:Goemans-Williamson 最大割算法(0.878 近似比——"松弛 + 随机取整"的理论巅峰)。

在真实世界里:建模实例的三个经典

三个建模实例值得逐个会:Chebyshev 中心(最大内切球——LP 的标准教学例)、线性分式规划($f = \frac{c^Tx + d}{e^Tx + f}$ 的线性分式变换保凸——投资组合的夏普比率最大化)、投资组合(均值-方差前沿的 QP 表述——马科维茨的现代实现)。每个实例都是"问题翻译为凸问题"的范本——掌握翻译的手艺,比背任何求解器 API 都值钱。

专题深入:标准形与"凸化的变形记"完整版

第四章的实操核心是识别与变形:凸优化标准形(min 凸目标 + 不等式约束凸 + 等式约束仿射)与 LP/QP/SOCP/SDP 的嵌套家族("每个家族的求解器复杂度与表达力":LP 最内、SDP 最外——表达力递增、求解速度递减;建模的功力是用最低层级表达问题:二次目标该写成 QP 就别升 SOCP)。凸化的常用变形术全表:epigraph(目标进约束:$\min t$ s.t. $f(x) \le t$——max 目标的 SOCP 化)、约束消除、变量替换(几何规划的 log 变换:正项式变凸——通信功率控制与电路设计的教科书技巧)、函数的凸下界/松弛(组合问题的凸松弛:整数约束松弛 + 舍入——"松弛-解-舍入"三段论是近似算法的标准模式:MaxCut 的 SDP 松弛(Goemans-Williamson 0.878 近似比))。可行性与坏条件(Slater 条件预告强对偶(第五章)、问题缩放与数值稳定——"好问题 = 凸 + 良条件",缩放不当让好求解器失败)。

推导细读:几类标准问题的"完整解剖"完整版

第四章标准问题的完整解剖:QP(凸二次目标 + 仿射约束——Hessian 半正定的检查、KKT 线性方程组的可解性;Markowitz、MPC、SVM 的原形);SOCP(二阶锥 $\|(x, t)\|_2 \le s$——鲁棒优化与范数球约束的自然语言(最小化最大范数、Chebyshev 中心);"QP 的锥化":$\|Ax - b\| \le t$ 变 SOCP);鲁棒与随机优化(不确定参数的最坏情况/期望——"椭圆不确定集 → SOCP" 是鲁棒优化的标准翻译);几何规划(正项式 posynomial + 单项式等式——log 变换后的凸问题;GP 的无形身影:放大器设计、包络优化);半定规划(对称矩阵锥上的线性目标——控制、组合、特征值优化的统一语言;内点法每迭代解一个牛顿系统——"多项式时间可解"的现代含义)。"建模即翻译:从业务约束到锥约束"——第四章是翻译手册的正文。

工程案例细节:变形术的产业出口工程版

第四章的工程出口:投资组合的完整建模栈(均值-方差 QP → 加交易成本与换手约束 → 鲁棒版(协方差不确定 → SOCP)——AQR 等量化基金的凸优化生产线;Black-Litterman 与约束 MVO 的合规化改造);信号处理的 l1 革命(压缩感知基追踪 $\min\|x\|_1$ s.t. $Ax = b$ 的 LP 化、l1 与 SOCP 的融合(l1-l2)——MRI 加速成像的医疗级应用);鲁棒控制(H-infinity 的 LMIs、增益调度——飞控与电力系统稳定器的凸设计);功率系统(最优潮流的 SOCP 松弛("非凸 AC-OPF 的凸化"是电网计算十年来的主战场——DistFlow 分支流模型的 SOCP 松弛在配网精确);机器学习训练的凸内核(线性分类器的凸损失、深度学习"凸外壳"的讨论——最后一层通常是凸的:损失对 logits 凸)。变形术的价值量化:同一个业务问题,建模水平决定它是"秒解"还是"算不动"。

例题

把 $\min_x \max_i |a_i^Tx - b_i|$ 写成 LP(Chebyshev 逼近 / 最小化最大绝对残差)。

解答

引入辅助变量 $t$(epigraph 变形):

$$\min_{x, t}\ t \quad \text{s.t.}\quad -t \le a_i^Tx - b_i \le t,\quad i = 1,\dots,m$$

每条绝对值约束 = 两个线性不等式 ⟹ 整个问题是 LP。

  • 两个通用技巧同框:epigraph(把 min-max 目标移进约束)与 绝对值线性化($\|u\|_\infty \le t \Leftrightarrow -t\mathbf1 \le u \le t\mathbf1$)。$\ell_1$ 版本($\sum|a_i^Tx - b_i|$)同样是 LP——"稀疏回归是线性规划"的出处。

本页是《凸优化》第 3 节的学习笔记:为便于初学,讲解、例题与要点概括均为本站原创整理,公式与章节定位供对照原书使用。

📑 本书目录 经典研读