第 6 章 · 内积空间：从代数到几何

前几章的向量空间没有长度、没有角度。加上内积——一个满足对称、线性、正定的函数——几何就回来了。正交性是这一章的主角，它是"最好逼近""最小二乘""谱定理"的共同地基。

内积与范数

公理：第一变元线性、共轭对称 $\langle u,v\rangle = \overline{\langle v,u\rangle}$、正定。柯西-施瓦茨不等式 $|\langle u,v\rangle| \le \|u\|\|v\|$ 是本章第一定理（判别式法的漂亮证明必看），勾股定理、三角不等式由它导出。

正交基与正交投影

正交基下坐标 = 投影：$v = \sum\langle v, e_i\rangle e_i$——内积变成一次次投影。Gram-Schmidt 把任意基正交化（工程上即 QR 分解的数学形态）。到子空间 $U$ 的正交投影 $P_U v$ 是 $U$ 中离 $v$ 最近的点：

最佳逼近定理：误差向量垂直于子空间。最小二乘法、傅里叶部分和、多项式最佳平方逼近全是它的实例。

正交补与对偶

$U^\perp = \{v : \langle v, U\rangle = 0\}$，有限维中有直和分解 $V = U \oplus U^\perp$。线性泛函的表示定理（Riesz 表示的有限维版）：任何线性泛函 $\varphi(v) = \langle v, h\rangle$ 由唯一 $h$ 表示——"泛函 = 向量内积"，对偶空间从此不再是抽象概念。

老师的提醒

• 最小二乘的全部理论 = 投影定理：正规方程就是"残差 ⊥ 列空间"的坐标化。
• 复数域下内积对第一变元共轭线性（本书约定第一变元线性时注意转置记号差异）——共轭符号漏写是复内积计算第一错源。

自检

• 叙述并证明柯西-施瓦茨不等式。
• 为什么正交投影给出最佳逼近？
• Riesz 表示定理说了什么？

更深一层：内积是"给空间装上量角器与直尺"

内积之前，向量空间只有"线性"没有"几何"：没有长度、没有角度、没有"垂直"。内积一次性装上三件仪器：范数 $\|v\| = \sqrt{\langle v,v\rangle}$（直尺）、夹角（量角器，柯西-施瓦茨给出 $\cos\theta$ 的合法定义）、正交（垂直的概念）。装上仪器后，线性代数从"结构代数"升级为"结构几何"——正交投影（最佳逼近）、正交基（坐标解码器）、正交变换（刚体运动）这些几何利器才有了定义的资格。复内积的共轭对称性（$\langle u,v\rangle = \overline{\langle v,u\rangle}$）是为了保证 $\langle v,v\rangle$ 为实数且非负——量子力学的概率诠释依赖这个"实性"。

柯西-施瓦茨不等式 $|\langle u,v\rangle| \le \|u\|\|v\|$ 值得当作"内积的宪法"来记：一切其他不等式（三角不等式、勾股）都由它导出；证明的判别式技巧（$\|tu + v\|^2 \ge 0$ 对一切实 $t$ 展开为二次三项式非负）是"利用正定性"的标准操作——这个操作模式在构造各种不等式（Hölder 的离散版、Jensen）时反复出现。

推导细读：Gram-Schmidt 的"逐个净化"与数值警示

Gram-Schmidt 的公式干净，数值实现却有个著名暗坑：经典 GS 用"原始向量"算投影，误差让 $q_i$ 们不完全正交（严重共线时灾难性）；修正 GS（MGS）"净化一个立刻使用一个"，损失大幅降低。更稳的现代实践是再正交化（"twice is enough"定理：MGS 跑两遍，正交性达机器精度）。这段数值历史的教学价值：数学等价的公式序列，浮点下可以有天壤之别——第 3 章的 CGS/MGS 之争已经预演过。凡是做"正交化"（QR、Arnoldi、三对角化）的实现者，都该把这堂课刻在肌肉里。

在真实世界里：正交投影是"最小二乘"的几何母语

到子空间的正交投影 $P_Uv$ 给出"子空间里离 $v$ 最近的点"——这一定理在工程界的三次变装：最小二乘拟合（残差垂直于数据列空间——"残差无信息可榨"的几何表述）、傅里叶部分和（投影到三角多项式空间——最佳平方逼近）、卡尔曼滤波（投影到观测生成的新息空间——滤波 = 递归正交投影）。三个行业、一个定理。学会用"投影"的语言描述拟合问题，最小二乘、滤波、逼近论的教材就都能互相当作参考书读。

专题深入：内积是"给空间装上量角器与直尺"展开

内积之前，向量空间只有"线性"没有"几何"：没有长度、没有角度、没有"垂直"。内积一次性装上三件仪器：范数 $\|v\| = \sqrt{\langle v,v\rangle}$（直尺）、夹角（量角器，柯西-施瓦茨给出 $\cos\theta$ 的合法定义）、正交（垂直的概念）。装上仪器后，线性代数从"结构代数"升级为"结构几何"——正交投影（最佳逼近）、正交基（坐标解码器）、正交变换（刚体运动）这些几何利器才有了定义的资格。复内积的共轭对称性（$\langle u,v\rangle = \overline{\langle v,u\rangle}$）是为了保证 $\langle v,v\rangle$ 为实数且非负——量子力学的概率诠释依赖这个"实性"。

柯西-施瓦茨不等式 $|\langle u,v\rangle| \le \|u\|\|v\|$ 值得当作"内积的宪法"来记：一切其他不等式（三角不等式、勾股）都由它导出；证明的判别式技巧（$\|tu + v\|^2 \ge 0$ 对一切实 $t$ 展开为二次三项式非负）是"利用正定性"的标准操作——这个操作模式在构造各种不等式（Hölder 的离散版、Jensen）时反复出现。

数学细节展开：Gram-Schmidt 的"逐个净化"与数值警示

Gram-Schmidt 的公式干净，数值实现却有个著名暗坑：经典 GS 用"原始向量"算投影，误差让 $q_i$ 们不完全正交（严重共线时灾难性）；修正 GS（MGS）"净化一个立刻使用一个"，损失大幅降低。再正交化（"twice is enough"定理：MGS 跑两遍，正交性达机器精度）是现代实践的标准。这段数值历史的教学价值：数学等价的公式序列，浮点下可以有天壤之别——凡是做"正交化"（QR、Arnoldi、三对角化）的实现者，都该把这堂课刻在肌肉里。

工程案例细节：正交投影是"最小二乘"的几何母语（工程版）

到子空间的正交投影 $P_Uv$ 给出"子空间里离 $v$ 最近的点"——这一定理在工程界的三次变装：最小二乘拟合（残差垂直于数据列空间——"残差无信息可榨"的几何表述）；傅里叶部分和（投影到三角多项式空间——最佳平方逼近）；卡尔曼滤波（投影到观测生成的新息空间——滤波 = 递归正交投影）。三个行业、一个定理。学会用"投影"的语言描述拟合问题，最小二乘、滤波、逼近论的教材就都能互相当作参考书读。