第 8–12 章 · 最小二乘与正交化家族

数据拟合、传感器标定、定位——一切"方程比未知数多"的问题都是最小二乘。这五章给出它的全部解法谱系与秩亏时的进阶武器。

满秩最小二乘的解法链

• Householder QR：主流，稳定，$2mn^2 - \frac{2}{3}n^3$。
• 正规方程 $A^TA\mathbf{x}=A^T\mathbf{b}$：快但 $\kappa$ 平方，仅当数据明显良态。
• 分块 GS/半正规方程：MGS 两次（对 $A$ 与对 $A^T$）等效 QR，稀疏时代常用。
• SVD：最稳最贵，兼给秩信息。

秩亏与"秩揭示"分解

$A$ 秩亏或近秩亏时，"解"不唯一或对扰动跳变。两种秩揭示武器：

• 列主元 QR：$A\Pi = QR$，$\Pi$ 把无关列排前面，对角元衰减揭示秩——便宜，但秩的揭示不保证可靠。
• UUV 分解（SVD）：$\sigma_n$ 与 $\sigma_{n-1}$ 的 gap 是可靠揭示的保证。伪逆解 $\mathbf{x} = A^+\mathbf{b}$ 是最小范数解；Tikhonov 正则化 $(A^TA+\lambda I)\mathbf{x}=A^T\mathbf{b}$ 是其光滑版，$\lambda$ 由 L-曲线或 GCV 选。

欠定方程与稀疏视角

$m < n$（方程比未知数少）时求最小范数解，同样走 $A^T$ 的 QR 或 SVD。现代拓展：稀疏与低秩联合（鲁棒主成分）延续同一套秩的语言。

老师的提醒

• 传感器阵列、WLS 加权问题：加权即行缩放，注意缩放同时改变了几何（正则化的解释），权重不是无代价的自由参数。
• 秩亏诊断流程：先看奇异值衰减谱，有无 gap 决定走"截断 SVD"还是"Tikhonov"，别盲调正则参数。

自检

• 为什么秩亏时"最小二乘解"需要重新定义？两种定义分别是什么？
• 列主元 QR 与 SVD 揭示秩的能力差别？
• Tikhonov 与截断 SVD 的关系？

更深一层：加权最小二乘是"噪声模型的代数化身"

$A$ 的每一行是一个观测，行的可信度不同（仪器精度不同、数据质量参差）就该给不同的权重：$\min\sum w_i(a_i^Tx - b_i)^2$，即 $\min\|W(Ax - b)\|$——加权 = 行缩放，一切满秩最小二乘算法原样适用。权重的统计学出身：$w_i = 1/\sigma_i^2$（方差倒数），高斯-马尔可夫定理下加权最小二乘是 BLUE（最优线性无偏估计）。这套语言直接接通工程实践：GPS 定位按信号信噪比加权、传感器融合按各自噪声协方差加权、计量经济学的异方差修正——都是同一个 $W$ 矩阵。

秩亏情形的加权有个深刻的副作用：加权改变了几何（正则化的隐性重定义），岭回归 + 加权等价于贝叶斯先验——权重的每个选择都在悄悄陈述你的统计假设。把这句记住，数据拟合时就不会再"随手调权重"。

推导细读：列主元 QR 与秩揭示的"不完美但便宜"

秩亏诊断有两条路：SVD 可靠（$\sigma_n$ 与 $\sigma_{n-1}$ 的 gap 是数学保证）但贵；列主元 QR 便宜（重排列让对角元递减）但不保证——存在构造性反例使列主元 QR 误判秩。现代折中是强秩揭示 QR（URV/RRQR）：带列交换的 QR 加迭代精化，保证揭示的秩"接近"SVD 的可靠性，成本仍远低于 SVD。工程选型：一次性的深度分析 → SVD；实时/流式 → RRQR 或列主元 QR + 阈值监控。秩揭示的三档价位（SVD/RRQR/CPQR）正是"可靠性定价"的又一实例——这个模式在第 2 节的范数选择、本节的迭代精化里反复出现，是数值分析的价格经济学。

在真实世界里：欠定系统的现代战场

$m < n$ 的欠定问题（方程少未知数多）在经典教材里一笔带过，今天却是数据科学的正面战场：压缩感知（$\min\|x\|_1$ s.t. $Ax = b$ 从欠定方程恢复稀疏解）、矩阵补全（Netflix 问题）、深度学习的过参数化（欠定却泛化）。经典最小范数解 $A^+b$ 是这一切的起点——欠定不可怕，可怕的是没有"解的选择原则"：最小范数、最大稀疏、最大平滑，每一项原则对应一种正则化与一个行业应用。

专题深入：秩揭示分解的"三档价位"

秩亏诊断的三档价位值得整理：SVD（最可靠——$\sigma_n$ 与 $\sigma_{n-1}$ 的 gap 是数学保证——但贵）；列主元 QR（便宜——$\Pi$ 把无关列排前面，对角元衰减揭示秩——但秩的揭示不保证可靠）；强秩揭示 QR（URV/RRQR）（带列交换 + 迭代精化——可靠性接近 SVD、成本远低于 SVD）。选型：一次性深度分析 → SVD；实时/流式 → RRQR 或列主元 QR + 阈值监控。秩揭示的三档价位正是"可靠性定价"的又一实例。

数学细节展开：伪逆与截断 SVD 的"最小范数哲学"

秩亏问题的解需要"选择原则"：伪逆 $A^+ = V\Sigma^+U^T$ 给出最小范数解（"最保守的拟合"）；Tikhonov 正则化 $(A^TA + \lambda I)x = A^Tb$ 给出平滑解（$\lambda$ 由 L 曲线或 GCV 选）。两者的滤波因子视角统一：截断 SVD 硬切（$\sigma_i > \tau$ 保留）、Tikhonov 软压（$\frac{\sigma_i}{\sigma_i^2+\lambda^2}$ 滤波）。"病态方向的处理"是秩亏问题的全部内容——硬切 vs 软压是两种合法的手术方案。

工程案例细节：欠定系统的现代战场

欠定问题（$m < n$）的现代战场值得标注：压缩感知（$\min\|x\|_1$ s.t. $Ax = b$ 从欠定方程恢复稀疏解）、矩阵补全（Netflix 问题——核范数松弛）、深度学习的过参数化（欠定却泛化——隐式正则的谜题）。经典最小范数解 $A^+b$ 是这一切的起点——"解的选择原则"（最小范数/最大稀疏/最大平滑）是欠定问题的全部内容。

常见误区与辨析（补充）

• "秩亏是错误"：秩亏是信息——伪逆解是所有精确拟合解中范数最小的那个，这是有意义的"最保守拟合"。
• "正则化是调参玄学"：$\lambda$ 的 L 曲线/GCV 选择是系统方法——盲调正则参数才是玄学。