第 2–3 章 · 凸集与凸函数：判定的眼力

这两章是"识别训练"：把常见集合与函数的凸性判别法配齐。目标不是背清单，而是练出三秒判断一个对象凸不凸的眼力。

凸集的运算封闭性

锥与广义不等式（$\succeq_K$）：半正定序 $\Sigma \succeq 0$ 是"矩阵大于零"的精确化——控制、滤波、协方差建模的语言。

• 基本例子：超平面、半空间、范数球、椭球、多面体、半正定锥 $S_+^n$；
• 封闭运算：交集（永远凸）、仿射变换（像与原像）、透视 $C' = \{(tx, t) : x\in C, t>0\}$、线性分式映射——保凸运算表是建模的积木库；
• 分离定理：不相交凸集可被超平面分离——对偶理论、支撑超平面的几何根基。

凸函数的判定与保凸运算

• 判定工具：定义式、一阶/二阶条件、上境图（$\text{epi} f = \{(x, t) : f(x) \le t\}$ 凸 ⟺ $f$ 凸）——函数凸性变成集合问题；
• 保凸运算：非负加权和、仿射复合、逐点最大 $\max(f_1,\dots,f_k)$、逐点上确界 $g(x) = \sup_{y\in A}f(x,y)$、透视函数 $tf(x/t)$（范数凸性的来源）、最小二乘目标 $\|Ax-b\|_2^2$ 的凸性（海森 $2A^TA \succeq 0$）；
• 共轭函数 $f^*(y) = \sup_x(y^Tx - f(x))$——对偶理论的函数论引擎（第 5 章回收）；
• 对数-凸性、拟凸函数（下水平集凸——目标非凸但可二分求解的类）作为扩展视野。

常用函数的凸性档案

范数（全部）、指数、幂函数 $x^a$（$a\ge1$ 或 $a\le0$）、负熵 $x\log x$、二次型（$\Sigma \succeq 0$）、几何平均（凹）、log-sum-exp $f(x) = \log\sum e^{x_i}$（凸，软最大——机器学习 softmax 的母体）。凹函数 = 负函数凸：$\log x$、熵——优化里"最大化凹 = 最小化凸"。

老师的提醒

• 判断复合函数 $g(h(x))$ 凸性的三段法则：$g$ 凸且不减 + $h$ 凸 ⟹ 凸；$g$ 凸且不增 + $h$ 凹 ⟹ 凸——记忆图像：外层要"顺着"内层。
• log-sum-exp 值得专记：它是 max 的光滑近似（$\frac1t\log\sum e^{tx_i} \to \max$），软最大、LogSumExp 损失、对偶推导的通用件。

自检

• 用保凸运算判 $e^{f(x)}$、$\max(f, g)$、$\log\sum e^{g_i(x)}$ 的凸性。
• 共轭函数的定义与例（$x^2$ 的共轭）？
• 拟凸函数与二分求解的关系？

更深一层：保凸运算表是"建模语法"

凸集的封闭运算（交集、仿射变换、透视、线性分式映射）与凸函数的保凸运算（非负加权和、仿射复合、逐点最大、逐点上确界、透视函数 $tf(x/t)$）构成凸优化的建模语法。这套语法的价值在于：真实问题的凸性判断几乎全靠运算分解而非定义验证——遇到复杂目标，先拆成"保凸运算的组合"，再逐项查表。

共轭函数 $f^*(y) = \sup_x(y^Tx - f(x))$ 是函数论的对偶引擎（第 5 章回收）：它是"用支撑超平面描述函数"的对偶表示——log-sum-exp（$\log\sum e^{x_i}$，softmax 的母体）的共轭是负熵——这个配对是机器学习里"softmax 损失 = 熵正则"对偶关系的根源。

推导细读：上境图观点——函数凸性变成集合凸性

上境图 $\text{epi}\,f = \{(x,t) : f(x) \le t\}$ 的观点把函数凸性统一到集合凸性之下：$f$ 凸 ⟺ epi $f$ 是凸集。这个翻译的威力在证明保凸运算时显现：逐点上确界 $g(x) = \sup_y f(x,y)$ 的上境图是各 $f(x,y)$ 上境图的交集——集合的交集保凸 ⟹ 逐点最大保凸。"证明保凸"从此变成"画上境图"——这是全书最优雅的证明技术。

在真实世界里：常用函数的凸性档案速查

常用函数的凸性档案（凸/凹/分界）值得贴工位：范数（全部凸）、指数（凸）、幂函数 $x^a$（$a \ge 1$ 或 $a \le 0$ 凸、$0 < a < 1$ 凹）、负熵 $x\log x$（凸）、$\log x$ 与 $\log\det X$（凹）、二次型（$\Sigma \succeq 0$ 凸）。对数-凸性（$\log f$ 凸）是更强的类（高斯密度是 log-concave——对数凹分布的性质是概率与统计的基础）。拟凸函数（下水平集凸——目标非凸但可二分求解）是"伪装的凸问题"的识别器。

专题深入：凸集的"保凸运算"完整版

Boyd 第二章-第三章的判别学是保凸运算的传递链：交（任意多个凸集之交仍凸）、仿射映射与原像、透视变换 $S \to \{(tx, t): x \in S, t > 0\}$（投影几何的凸性保持——齐次坐标下"远小近大"不失凸）、线性分式函数——"从简单凸集（半空间、球、椭球、多面体、单纯形）出发，用保凸运算搭出复杂凸集"是判别凸性的构造法。凸函数的判别工具箱：一阶条件（$f(y) \ge f(x) + \nabla f(x)^T(y - x)$——"切线永在下"的几何）、二阶条件（Hessian 半正定）、上境图视角（$f$ 凸 ⟺ epigraph 凸——把函数问题转集合问题）；保凸运算表（非负加权和、仿射复合、逐点最大 $\max_i f_i$、逐点上确界、部分最小化 $\inf_y f(x, y)$——"min 保凸有条件（y 段凸），max 无条件"是初学者最常翻车点）。凸性与连续性/可导性的关系（凸函数在开集上自动连续、几乎处处可导——"凸性是比光滑更强的结构"**）。

推导细读：拟凸、对数凸与"广义凸谱系"完整版

第三章-第四章的推广谱系：拟凸函数（下水平集 $\{x: f(x) \le t\}$ 全凸——"上境图可凸、下水平集必凸"的弱化版：可行性判别问题常是拟凸（可行性阈值扫描 + 凸判定——二分法求解）；对数凸（$\ln f$ 凸——"正系数和的指数函数族"：热力学自由能、控制 Lyapunov——log 凸性给出"凸 + 正"的兼容）；Schur 凸与主化理论（矩阵函数的凸性：$\lambda_{\max}$ 是凸的（逐点上确界的化身：$\lambda_{\max}(A) = \sup_{\|x\|=1}x^TAx$）、trace、logdet（凹的！$\log\det$ 是实验设计优化的目标）；Jensen 不等式的应用工厂（期望的凸函数不等式——信息论、概率界、采样理论的通用引擎）。"先证凸、再谈解"的纪律：非凸问题强行局部求解的失败案例（功率分配的陷局部、神经网络的非凸性——"凸性检查是优化建模的第一步体检"）。

工程案例细节：凸集几何的产业出口工程版

二三-四章的工程出口：信道容量与功率分配（注水算法 water-filling：$\min$ 互信息最大化的 KKT 解是按噪声倒数的注水——拟凸 + 二分 + 凸子问题的组合拳，通信系统的经典设计算法）；实验设计与信息几何（D-最优设计 max logdet(Fisher 信息)——logdet 的凹性让 A-Opt/D-Opt 设计成为凸问题：传感器布置、主动学习选点）；结构优化的半定松弛（桁架拓扑的 SDP、控制系统的 Lyapunov 稳定性证书（"找一个 V 使 $\dot V < 0$"是 LMI 可行性问题——控制理论与 SDP 的百年联姻））；几何规划的行业应用（CMOS 电路尺寸优化的 GP 模型（正项式 → log 变凸）——模拟电路自动化的数学基础）；机器学习的凸骨架（SVM、逻辑回归、lasso、矩阵补全——"ML 可解问题的地图主要是凸的地图"）。凸集语言读世界：约束是几何、目标是函数、可解性是凸性。