正交、投影与 Gram–Schmidt 正交化

层级：B｜按需

1. 正交让复杂问题分解

互相正交的方向不发生内积“串扰”，长度平方可以相加，投影系数独立计算。最小二乘、QR 分解、PCA、Fourier 表示和许多数值算法都尽量选择正交基，因为它既有清晰几何意义，又更稳定。

2. 正交与标准正交

若

称 $u,v$ 正交。若一组向量两两正交且每个长度为 1，称为标准正交组：

把它们作为矩阵列 $Q=[q_1,ldots,q_k]$，可紧凑写成

若 $Q$ 是方阵，则还满足 $QQ^T=I$，称正交矩阵。

3. Pythagoras 定理

若 $u\perp v$，则

证明只需展开：

交叉项因正交为零。这是偏差—方差分解、最小二乘误差分解和正交投影的代数核心。

4. 投影到一个向量

把 $x$ 投影到非零 $u$ 张成的直线上：

残差

与 $u$ 正交。投影系数来自要求

解得 $c=u^Tx/(u^Tu)$。若 $u$ 是单位向量，$c=u^Tx$。

5. 投影到子空间

若 $Q\in\mathbb R^{d\times k}$ 的列是子空间 $S$ 的标准正交基：

投影矩阵

满足：

对称表示正交投影，自幂等表示投影一次后再投影不变。$I-P$ 投影到正交补空间。

若基矩阵 $A$ 列满秩但不正交：

实际计算通常通过 QR 避免显式求逆。

6. 投影是最近点

对任何 $s\in S$：

第一项与 $S$ 正交，第二项在 $S$ 中，因此

所以正交投影 $\hat x$ 是子空间中离 $x$ 最近的点。

7. 最小二乘是投影

求

就是在 $X$ 的列空间中找离 $y$ 最近的向量。最优预测

残差 $r=y-\hat y$ 与每个特征列正交：

这直接得到正规方程 $X^TX\hat w=X^Ty$。

8. Gram–Schmidt 正交化

给定线性无关向量 $v_1,ldots,v_k$，构造正交向量：

即从新向量中减去沿已有各方向的投影。再单位化：

得到的 $q_j$ 两两正交，并生成与原向量相同的子空间。

经典 Gram–Schmidt 在浮点数下可能因消去误差失去正交性，改进 Gram–Schmidt、Householder 反射通常更稳定。

9. 正交矩阵的性质

方阵 $Q$ 若 $Q^TQ=I$，则

并保持内积、长度与距离：

旋转和反射都是正交变换。正交矩阵条件数为 1，不放大相对误差，是数值算法理想构件。

10. QR 分解预览

满列秩矩阵 $A\in\mathbb R^{m\times n}$ 可分解为

$Q$ 列标准正交，$R$ 上三角。Gram–Schmidt 可解释该分解：$Q$ 是正交化基，$R$ 记录原列在新基下的系数。QR 可稳定求最小二乘。

易错点

1. 正交不代表统计独立。
2. $Q^TQ=I$ 对列正交的瘦矩阵成立，但 $QQ^T$ 是投影矩阵，不一定是 $I$。
3. 投影系数在 $u$ 非单位时必须除以 $u^Tu$。
4. 任何幂等矩阵都表示某种投影，但不一定是正交投影；还需对称。
5. 数值正交化应考虑稳定算法。

常见问答

Q1：PCA 投影后为什么能重构？

投影坐标记录在所选正交基方向上的分量，乘回基矩阵得到子空间内最近重构；被丢弃的正交方向无法恢复。

Q2：正交特征是否一定更好？

它消除线性冗余并便于计算，但旋转后的特征可能难解释，也不会自动消除非线性依赖。

Q3：标准化与正交化相同吗？

不同。标准化通常逐特征减均值除标准差；正交化改变方向，使特征向量之间内积为零。

练习

1. 判断 $(1,1)^T$ 与 $(1,-1)^T$ 是否正交。
2. 把 $x=(3,4)^T$ 投影到 $u=(1,1)^T$。
3. 若 $Q$ 为 $5\times2$ 且 $Q^TQ=I_2$，$QQ^T$ 是什么形状、表示什么？
4. 验证投影矩阵 $P=QQ^T$ 满足 $P^2=P$。
5. 对 $v_1=(1,0)^T,v_2=(1,1)^T$ 做 Gram–Schmidt。

答案与提示

1. 是，内积为 0。
2. 系数 $7/2$，投影为 $(3.5,3.5)^T$。
3. $5\times5$，投影到 $Q$ 列空间。
4. $QQ^TQQ^T=Q(Q^TQ)Q^T=QQ^T$。
5. $q_1=(1,0)^T$，减去投影后 $u_2=(0,1)^T$，故 $q_2=(0,1)^T$。