特征值与特征向量

层级：B｜按需

1. 寻找变换中不改变方向的轴

一般矩阵会同时旋转、拉伸并混合坐标。但某些非零方向经过变换后方向不变，只被缩放。这些方向是特征向量，缩放倍数是特征值。PCA、谱聚类、Markov 链、动力系统与二阶优化都使用它们。

2. 定义

对方阵 $A\in\mathbb R^{n\times n}$，若存在非零向量 $v$ 和标量 $\lambda$ 使

则 $v$ 是特征向量，$\lambda$ 是对应特征值。

要求 $v\ne0$，因为零向量对任何 $\lambda$ 都满足等式，不能提供方向信息。若 $v$ 是特征向量，任何非零倍数 $cv$ 也是，所以特征向量不是唯一长度，常归一化为单位向量。

3. 对角矩阵例子

横轴方向 $e_1$ 被放大 3 倍，故特征值为 3；纵轴方向 $e_2$ 保持不变，特征值为 1。任意向量分解为两特征方向：

则

特征基把复杂变换变成各坐标独立缩放。

4. 如何求特征值

由

要有非零解，矩阵必须奇异：

左侧称特征多项式。求出根 $\lambda$ 后，再解

得到特征向量。

这个过程适合二阶手算。高维数值计算使用 QR 迭代、Lanczos、幂迭代等算法，而不是显式展开高次多项式。

5. 二阶例子

特征方程：

所以 $\lambda_1=3,\lambda_2=1$。对应方向分别可取 $(1,1)^T$ 与 $(1,-1)^T$，两者正交。

6. 对角化

若 $A$ 有 $n$ 个线性无关特征向量，把它们组成

则

从而

这样

把矩阵幂化为特征值的幂。不是所有矩阵都可对角化；实矩阵还可能有复特征值。

7. 对称矩阵的谱定理

实对称矩阵有特别好的性质：

• 所有特征值为实数；
• 不同特征值对应的特征向量正交；
• 可选择一组标准正交特征向量；
• 存在正交矩阵 $Q$ 使

协方差矩阵是实对称半正定矩阵，因此 PCA 可以稳定地选择正交主方向。

8. 迹、行列式与特征值

按代数重数：

所以出现零特征值意味着行列式为零、矩阵不可逆。最大绝对特征值称谱半径，影响重复迭代 $A^kx$ 的长期行为。

9. Rayleigh 商

对对称矩阵 $A$、非零 $x$：

它位于最小与最大特征值之间。最大化 Rayleigh 商得到最大特征值方向：

PCA 最大化投影方差正是这个问题。

10. PCA 中的特征值

中心化数据协方差矩阵为 $S$。单位方向 $u$ 上的投影方差是

使其最大的 $u$ 是最大特征值对应特征向量；特征值是该方向上的方差。依次取正交的前 $k$ 个特征向量，得到主成分子空间。

实际数据常直接对中心化数据矩阵做 SVD，比显式形成协方差更稳定。

11. Markov 链与稳定性

状态分布反复乘转移矩阵。特征值 1 对应平稳方向，其他特征值绝对值决定收敛速度。优化中 Hessian 特征值描述不同方向的曲率；最大/最小特征值比值影响梯度下降难度。

易错点

1. 只有方阵讨论普通特征值，但矩形矩阵有奇异值。
2. 特征向量不能是零向量。
3. 特征向量长度不唯一，方向才重要。
4. 一般矩阵的特征向量不一定正交，也不一定有完整一组。
5. 奇异值与特征值不是同一概念；奇异值总非负。

常见问答

Q1：特征值越大，对应特征越重要吗？

在 PCA 协方差矩阵中，大特征值表示大方差方向；“重要”仍取决于任务。高方差可能是噪声，低方差也可能区分类别。

Q2：负特征值代表什么？

对应方向被翻转并按绝对值缩放。对二次型/Hessian，负特征值表示该方向曲率向下；协方差矩阵不会有负特征值（忽略数值误差）。

Q3：为什么最大特征向量可用幂迭代？

反复乘 $A$ 后，各特征方向按 $|\lambda_i|^k$ 放大；若最大绝对特征值唯一，其方向最终占主导，再逐步归一化防止溢出。

练习

1. 求 $\operatorname{diag}(4,-2)$ 的特征值和一组特征向量。
2. 若 $Av=3v$，求 $A^5v$。
3. 矩阵有特征值 $2,0,5$，它是否可逆？行列式与迹是什么？
4. 为什么实对称协方差矩阵可选正交特征向量？
5. 解释 PCA 最大特征值的统计意义。

答案与提示

1. $4,-2$；对应 $e_1,e_2$。
2. $3^5v=243v$。
3. 不可逆；行列式 0，迹 7。
4. 由实对称矩阵谱定理。
5. 它等于数据沿第一主方向投影的最大方差。