导读:Golub & Van Loan 用 flop 计数把求解 $Ax=b$ 的路线选择变成一门显学:稠密、对称、最小二乘各有一条最优路径。
成本账本
LU 分解(高斯消元 + 部分主元)约 $\frac{2}{3}n^3$ flops,通用首选;对称正定用 Cholesky 减半到 $\frac{1}{3}n^3$ 且免主元;最小二乘问题 $\min\|Ax-b\|$ 用 Householder QR 约 $2mn^2$。
多条右端项时分解成本摊薄:分解一次、回代多次。这是「先分解后回代」结构的价值。
主元策略
部分主元(行交换)把 LU 的增长因子控制住,实践中足够稳定;完全主元翻倍成本,几乎不需要。对称阵用对角主元要格外小心:不选主元的 LU 对一般对称阵不稳定。
什么时候放弃直接法
$n$ 超过 $10^5$ 时稠密直接法不可行:稀疏直接法(填充控制排序)或 Krylov 迭代法(CG/GMRES + preconditioner)接管。选择依据:填充率、谱性质、精度要求。
常见误区
- 对称矩阵用一般 LU 而不用 Cholesky,白白浪费一倍算力。
- 最小二乘问题构造成正规方程 $A^TAx=A^Tb$ 再做 LU——条件数被平方,应改用 QR。
吃透自检
- 能给出三种分解的 flop 计数推导
- 能为「对称不定」「长方形」「超大规模稀疏」三种情形各指定求解路线
- 能解释正规方程的条件数平方效应