矩阵计算 · 第 2–4 章 · 矩阵分析工具箱

第 2–4 章 · 矩阵分析工具箱

这三章是全书的理论弹药库：矩阵函数、投影、SVD、KR 乘积。它们不是算法，而是推导算法时反复出现的恒等式与视角。

特征值的刻画工具

对称特征值的变分刻画（Rayleigh 商）：

$$\lambda_1 = \max_{\mathbf{x}\ne0}\frac{\mathbf{x}^TA\mathbf{x}}{\mathbf{x}^T\mathbf{x}}$$

Courant-Fischer 极小极大原理把每个特征值写成子空间维数的最优化——迭代法（Lanczos、子空间迭代）的收敛理论全部从这里出发。谱定理：对称阵正交对角化 $A = Q\Lambda Q^T$；正规阵才有此待遇，非对称阵只能上 Schur 形 $A = QTQ^T$（$T$ 准上三角）。

SVD 的矩阵分析语言

$$A = U\Sigma V^T, \qquad \|A\|_2 = \sigma_1, \quad \kappa_2(A) = \frac{\sigma_1}{\sigma_n}, \quad \text{rank}(A) = \#\{i:\sigma_i > 0\}$$

SVD 把秩、范数、条件数、投影统一在一张图上。低秩逼近定理（Eckart-Young）：截断 SVD 是 Frobenius 与 2-范数意义下的最优低秩近似——这是数据压缩、PCA、模型降阶的共同数学根。

正交投影与子空间代数

投影算子 $P = QQ^T$；子空间之间的主角：CS 分解把两个子空间的相对位置几何完全说清（主角度）。这些工具在第 12 章（子空间迭代分析）与第 8-10 章（最小二乘的秩揭示分解）反复出场。

原文要点：第 2 章末给出"实 Schur 形存在性"证明，这是所有正交相似算法（QR 算法）的理论终点：实矩阵经正交相似必达准上三角；第 3 章矩阵函数 $f(A)$ 的定义与幂零/若尔当分解，为矩阵指数等工程计算铺路。

老师的提醒

三章是查阅型章节：遇到"为什么这个迭代收敛""这个分解的扰动界"再回来查，一次读到底容易疲劳失焦。
Rayleigh 商是你判断特征值"算到了没有"的仪表：残差 $\|A\mathbf{q}-\theta\mathbf{q}\|$ 与 $\sin\angle(\mathbf{q},\text{真向量})$ 成正比。

自检

Courant-Fischer 与 Rayleigh 商各说了什么？
Schur 形与谱定理的适用范围差别？
Eckart-Young 定理说的是什么逼近问题？

更深一层：Schur 形——非对称世界的"秩序终点"

对称矩阵有谱定理保底（正交对角化），非对称矩阵的归宿是 Schur 形 $A = QTQ^T$（$T$ 准上三角，$Q$ 正交）：实特征值落在对角、复特征对落成 $2\times2$ 块。它比"对角化"弱——但它是正交相似能达到的上限（约当形虽更"彻底"却不能用正交变换达成，数值上灾难）。QR 算法的全部意义就是构造 Schur 形：海森堡化是热身、带位移 QR 迭代是主菜。读第 2 章时把"Schur = 非对称世界能买到的最好秩序"记住，第 13-14 章的算法动机就全部透明。

Rayleigh 商与 Courant-Fischer 也值得配对记忆：前者给出单个特征值的极值刻画（$\max \mathbf{x}^TA\mathbf{x}/\mathbf{x}^T\mathbf{x}$），后者把每个特征值写成 min-max——迭代法的收敛证明全部挂在 min-max 上（Lanczos 的 Kaniel-Paige 理论、CG 的收敛界皆如此）。学优化的人会认出：这就是约束优化的拉格朗日对偶在特征值问题里的化身。

推导细读：Eckart-Young 是 SVD 统一力的最佳展品

低秩逼近定理：在 Frobenius 范数与 2-范数下，截断 SVD $\sum_{i\le k}\sigma_iu_iv_i^T$ 都是秩 $k$ 矩阵中的最优。证明的漂亮处在于"误差恰好是被扔掉的奇异值"：$\|A - A_k\|_F = \sqrt{\sigma_{k+1}^2 + \dots}$。它一气呵成地解释了四件工程事——PCA 为什么取 top-$k$ 成分最优、图像压缩为什么留大奇异值、模型降阶为什么保留主导模态、噪声滤波为什么截小奇异值。一个定理喂饱四个行业，这是数值线性代数里投资回报率最高的定理。

在真实世界里：矩阵分析的"读谱"能力

这一章训练的核心技能是"从矩阵读出它的性格"：谱分布集中 → Krylov 快；谱聚成一坨 → 预条件来拆；接近亏秩 → 最小二乘要正则化；非正规 → 特征值敏感、看伪谱。培养方式是大量看小例子：$2\times3$ 矩阵的 SVD 手算、旋转-缩放分解的几何画图、非正规矩阵的伪谱图。数值线性代数的直觉不是背定理背出来的，是被几百个小例子喂出来的。

专题深入：谱定理与 Schur 形的"对称性分级"

矩阵分解的"对称性分级"值得做成速查表：实对称/厄米 → 谱定理（正交对角化，最干净的结构）；正规（$TT^* = T^*T$——含酉、反自伴）→ 可正交对角化（复数域）；非正规 → 只能上 Schur 形（正交相似到准上三角）；非对称非正规 → 特征值病态敏感（伪谱理论）。"对称性每降一级，可正交化的范围就缩一档"——这张表是判断"这个矩阵能不能被漂亮处理"的入场券。

Courant-Fischer 极小极大原理（每个特征值写成子空间维数的最优化）是迭代法收敛理论的发动机——Lanczos 的 Kaniel-Paige 理论、CG 的收敛界全部挂在它上面。

数学细节展开：Eckart-Young 的"最优低秩"完整证明思路

Eckart-Young 定理（截断 SVD 是 Frobenius 与 2-范数下的最优低秩逼近）的证明思路值得勾勒：Frobenius 版用奇异值的正交展开直接求和（误差 = 被扔掉的奇异值平方和）；2-范数版用 Weyl 不等式（秩约束下的扰动界）。"误差恰好是被扔掉的奇异值"——这个干净的结论让 PCA、模型降阶、图像压缩、推荐系统共享同一个数学根。

工程案例细节：CS 分解与子空间角度

CS 分解（两个子空间的相对位置几何）是"比较两个子空间"的标准工具——主角度（principal angles）是它的输出。工程应用：模型验证（两组模态的相似性——实验与仿真的模态比对）、数据对齐（两组测量的公共空间）、子空间跟踪（自适应滤波的子空间更新）。"子空间之间的距离"这个概念在机器学习（子空间学习、域适应）与信号处理（子空间跟踪）里是反复出现的基础设施。

例题

$A = \begin{pmatrix} 2 & 0\\ 0 & 1\end{pmatrix}$，验证 Rayleigh 商最大值等于 $\lambda_{max}$：即求 $\max_{\mathbf{x}\ne0}\frac{\mathbf{x}^TA\mathbf{x}}{\mathbf{x}^T\mathbf{x}}$。

解答

设 $\mathbf{x} = (\cos\theta, \sin\theta)^T$（归一化）：

$$R(\theta) = 2\cos^2\theta + 1\cdot\sin^2\theta = 1 + \cos^2\theta$$

最大值在 $\cos^2\theta = 1$（$\mathbf{x} = e_1$）处：$R_{max} = 2 = \lambda_{max}$ ✓；最小值 $1 = \lambda_{min}$（$\mathbf{x}=e_2$）。

这就是 Courant-Fischer 的最简情形：特征值 = Rayleigh 商的极值，迭代法（幂法/Lanczos/CG）的收敛理论全部挂在这条刻画上。

本页是《矩阵计算》第 2 节的学习笔记：为便于初学，讲解、例题与要点概括均为本站原创整理，公式与章节定位供对照原书使用。