第 IX–XII 讲 · 条件数与投影

这一组讲回答两个高频问题：一个矩阵有多"难缠"（条件数从哪来、怎么改善）；最小二乘为什么用 QR 解而不用正规方程。核心工具是正交投影。

投影：一切逼近的原型

到子空间 $S$ 的正交投影算子 $P_S$ 满足 $P^2 = P$（幂等）与 $P^T = P$（对称），由正交基 $Q$ 给出：

投影误差向量与子空间正交——"残差正交"是最小二乘解的几何定义。定理 4.1（最佳逼近）说的就是：正交投影给出 2-范数意义的最短距离。

正规方程的陷阱

最小二乘 $\min\|A\mathbf{x}-\mathbf{b}\|_2$ 的正规方程：

理论完美，数值有毒：$\kappa(A^TA) = \kappa(A)^2$。条件数平方意味着原本 8 位准确的数据只剩 4 位。原因在 $A^TA$ 的构造过程放大了扰动。正确做法：直接对 $A$ 做 Householder QR，解 $R\mathbf{x} = Q^T\mathbf{b}$，条件数始终是 $\kappa(A)$。MGS 的双路径技巧同样达到这一效果。

改善条件的两招

• 列缩放/平衡：把病态从"量纲混杂"里洗出来（如把"米"和"毫米"混在一个矩阵里）。
• 截断 SVD / 正则化：$\kappa = \infty$（秩亏）时，砍掉最小奇异值方向，用 $A^+ = V\Sigma^{+}U^T$（伪逆）给出最小范数解。这是数据科学里"岭回归/截断 SVD"的线性代数本体。

老师的提醒

• 见到 $A^TA$ 出现在你的代码里，先自问：数据坏到什么程度我不能接受？
• 秩亏不是报错而是信息：伪逆解是所有精确拟合解中范数最小的那个——"最保守的拟合"。

自检

• 投影算子的两个代数性质与一个几何事实？
• 正规方程条件数恶化的定量关系？
• 截断 SVD 为什么能"治"秩亏？

更深一层：最小二乘的"统计身份证"

同一个 $\min\|Ax - b\|_2$，数值线性代数看它是投影问题，统计学看它是高斯噪声下的极大似然估计：若 $b = Ax + \epsilon$、$\epsilon \sim N(0, \sigma^2I)$，则最小化平方残差恰是最大化似然。这个双重身份带来免费礼物：解的协方差 $\sigma^2(A^TA)^{-1}$、置信区间、t 检验——拟合优度的统计学整套接入。当噪声不是高斯（有离群点）时，换 $\ell_1$ 损失（拉普拉斯似然）或 Huber 损失——损失函数的选择就是噪声模型的选择。数值方法与统计推断在这一章握手，此后每次做数据拟合都值得问一句：我的噪声假设配得上我的损失函数吗？

推导细读：伪逆与正则化的"同族关系"

秩亏问题 $A$ 列不满秩时"解"不唯一，两条出路本质相通。截断 SVD：扔掉小奇异值方向，$x = \sum_{\sigma_i > \tau}\frac{u_i^Tb}{\sigma_i}v_i$——把病态方向直接剔除。Tikhonov：$\min\|Ax-b\|^2 + \lambda^2\|x\|^2$，解 $x = \sum\frac{\sigma_i}{\sigma_i^2 + \lambda^2}u_i^Tb\,v_i$——滤波因子 $\frac{\sigma_i}{\sigma_i^2+\lambda^2}$ 在大 $\sigma_i$ 处 $\approx 1/\sigma_i$、小 $\sigma_i$ 处 $\approx \sigma_i/\lambda^2 \to 0$，软性压制病态方向。两者都是对"病态方向"动手术：一个硬切、一个软压。滤波因子曲线放在一起看，正则化的全部直觉一页讲完——这是理解现代正则化（岭回归、核正则、深度学习的权重衰减）的原始模型。

在真实世界里：参数估计的三个工程场景

• 传感器标定（相机外参、机器人手眼）：最小二乘 + 离群点剔除（RANSAC 先粗后精）+ 协方差报告——标定报告不给不确定度等于没标定；
• 实验数据拟合（材料常数、动力学参数）：加权最小二乘（权重 = 1/测量方差²）+ 残差正态性检查——残差有结构说明模型缺项，不是拟合不努力；
• 机器学习里的岭回归/最小二乘分类：Tikhonov 正则的现代马甲，$\lambda$ 的 L 曲线/GCV 选择法与 1970 年代完全相同——老方法在新场景里长青。

常见误区与辨析

• "$R^2$ 高就拟合好"：$R^2$ 对过拟合视而不见；看残差的结构（随机白噪声 vs 系统性弯曲）比看 $R^2$ 诚实得多。
• "秩亏就让软件报错"：近秩亏比严格秩亏更危险（解在扰动下跳变）；奇异值衰减谱的目视检查应成为习惯。
• "正规方程永不可用"：$\kappa$ 良好（数据准、列正交性好）时正规方程最快最简；"禁令"针对的是病态场景。理解禁令的条件比背禁令有价值。

专题深入：最小二乘的"统计身份证"完整版

最小二乘的统计身份值得从噪声模型角度展开：$\min\|Ax - b\|_2$ 等价于高斯噪声下的极大似然估计——解的协方差 $\sigma^2(A^TA)^{-1}$、置信区间、t 检验——拟合优度的统计学整套接入。当噪声不是高斯（有离群点）时换 $\ell_1$ 损失（拉普拉斯似然）或 Huber 损失——损失函数的选择就是噪声模型的选择。这个"似然 ↔ 损失"的对应关系是数据科学的隐藏主线。

加权最小二乘（$W = \mathrm{diag}(1/\sigma_i^2)$）是高斯-马尔可夫定理的内容——BLUE（最优线性无偏估计）。权重的每个选择都在悄悄陈述你的统计假设——GPS 定位按信号信噪比加权、传感器融合按噪声协方差加权、计量经济学的异方差修正。

数学细节展开：正规方程的"$\kappa$ 平方"陷阱定量分析

正规方程 $A^TA\mathbf{x} = A^T\mathbf{b}$ 的陷阱定量版：$\kappa(A^TA) = \kappa(A)^2$——条件数平方意味着原本 8 位准确的数据只剩 4 位。$\kappa(A) = 10^4$ 时正规方程的精度损失已到 8 位——这就是"教科书最爱、数值界禁区"的定量根源。QR 解最小二乘的条件数始终是 $\kappa(A)$——直接对 $A$ 做 Householder QR，不动 $A^TA$。

工程案例细节：最小二乘的四个工程场景

• 传感器标定（相机外参、机器人手眼）：最小二乘 + RANSAC 剔除离群点 + 协方差报告；
• 实验数据拟合（材料常数）：加权最小二乘 + 残差正态性检查——残差有结构说明模型缺项；
• 机器学习岭回归/最小二乘分类：Tikhonov 正则的现代马甲，$\lambda$ 的 L 曲线/GCV 选择法与 1970 年代完全相同；
• GPS 定位：伪距方程的最小二乘解——每部手机每秒都在做。

常见误区与辨析（补充）

• "$R^2$ 高就拟合好"：$R^2$ 对过拟合视而不见；看残差的结构（随机白噪声 vs 系统性弯曲）比看 $R^2$ 诚实得多。
• "秩亏就让软件报错"：近秩亏比严格秩亏更危险（解在扰动下跳变）；奇异值衰减谱的目视检查应成为习惯。