机器学习数学基础 120 章

逆矩阵与 Moore–Penrose 伪逆

层级：B｜按需

1. 逆矩阵表示撤销线性变换

对 n×nn\times n 方阵 AA，若存在矩阵 A−1A^{-1} 满足

A−1A=AA−1=I,A^{-1}A=AA^{-1}=I,

则 AA 可逆，A−1A^{-1} 是逆矩阵。若 y=Axy=Ax，则

x=A−1y,x=A^{-1}y,

所以逆矩阵把变换撤销。

2. 什么时候可逆

对 n×nn\times n 方阵，以下条件等价：

  • AA 可逆；
  • det⁡(A)≠0\det(A)\ne0；
  • rank⁡(A)=n\operatorname{rank}(A)=n；
  • 列向量线性无关；
  • 零空间只有零向量；
  • 对每个 bb，Ax=bAx=b 有唯一解；
  • 0 不是特征值；
  • 所有奇异值都非零。

这些等价条件从代数、几何、方程和谱四个角度描述同一事实：变换没有丢失方向。

3. 二阶逆矩阵

若

A=[abcd],ad−bc≠0,A=\begin{bmatrix}a&b\\c&d\end{bmatrix}, \qquad ad-bc\ne0,

则

A−1=1ad−bc[d−b−ca].A^{-1}=\frac1{ad-bc} \begin{bmatrix}d&-b\\-c&a\end{bmatrix}.

这个公式适合小例子，不应推广成用伴随矩阵计算大规模逆。高维计算用 LU、QR、Cholesky 或 SVD。

4. 逆矩阵性质

(A−1)−1=A,(A^{-1})^{-1}=A, (AB)−1=B−1A−1,(AB)^{-1}=B^{-1}A^{-1}, (AT)−1=(A−1)T.(A^T)^{-1}=(A^{-1})^T.

乘积求逆必须反转顺序，因为撤销“先 BB 后 AA”时要先撤销 AA。

一般没有 (A+B)−1=A−1+B−1(A+B)^{-1}=A^{-1}+B^{-1}。

5. 为什么实际不应显式求逆

为求 x=A−1bx=A^{-1}b，直接调用线性求解器比先计算完整 A−1A^{-1} 更好：

  • 计算工作更少；
  • 舍入误差更小；
  • 可利用对称、正定、稀疏或三角结构；
  • 多个右端项也可复用一次分解。

代码应优先 solve(A, b)；最小二乘用 lstsq；不要写 inv(A) @ b。

6. 不可逆并不等于问题结束

非方阵没有普通逆；奇异方阵也没有。但我们仍可问：

  • 若方程有多解，选哪个？
  • 若方程无精确解，选哪个近似解？

Moore–Penrose 伪逆 A+A^+ 为这些问题提供统一答案。

7. 伪逆的 SVD 定义

设

A=UΣVTA=U\Sigma V^T

是奇异值分解。把每个非零奇异值 σi\sigma_i 取倒数，再转置矩形对角矩阵，得到 Σ+\Sigma^+：

A+=VΣ+UT.A^+=V\Sigma^+U^T.

极小奇异值的倒数会极大，因此实际计算按容差截断，或通过正则化控制。

8. 最小二乘与最小范数解

对任意 A,bA,b：

x^=A+b\hat x=A^+b

具有两层最优性质：

  1. 使残差 ∥Ax−b∥2\|Ax-b\|_2 最小；
  2. 在所有残差同样最小的解中，使 ∥x∥2\|x\|_2 最小。

若系统相容但有无穷多解，它选最小范数解；若不相容，它选最小二乘解中的最小范数者。

9. 满秩特殊公式

若 A∈Rm×nA\in\mathbb R^{m\times n} 满列秩（通常 m≥nm\ge n）：

A+=(ATA)−1AT.A^+=(A^TA)^{-1}A^T.

若满行秩（通常 m≤nm\le n）：

A+=AT(AAT)−1.A^+=A^T(AA^T)^{-1}.

这些公式有理论价值，但数值实现仍应使用 SVD/QR 或专用求解器，避免显式形成可能病态的 ATAA^TA。

10. 伪逆不是普通逆的所有规则延伸

伪逆满足四个 Moore–Penrose 条件，其中包括

AA+A=A,A+AA+=A+,AA^+A=A, \qquad A^+AA^+=A^+,

以及 AA+AA^+、A+AA^+A 对称。

AA+AA^+ 是到 AA 列空间的正交投影，A+AA^+A 是到 AA 行空间的正交投影。通常它们不等于单位矩阵。

而且一般 (AB)+≠B+A+(AB)^+\ne B^+A^+，除非满足额外条件。

11. 正则化逆

岭回归使用

w^=(XTX+λI)−1XTy.\hat w=(X^TX+\lambda I)^{-1}X^Ty.

λ>0\lambda>0 把所有特征值向上平移，缓解奇异与病态，但会收缩参数。这不是单纯数值技巧，也对应模型对参数大小的偏好。

从 SVD 看，伪逆对奇异值使用 1/σi1/\sigma_i，岭回归使用类似

σiσi2+λ\frac{\sigma_i}{\sigma_i^2+\lambda}

的平滑因子，避免小奇异值被猛烈放大。

易错点

  1. 非方阵没有普通逆，但可有伪逆。
  2. 方阵不自动可逆。
  3. 公式中出现 A−1A^{-1} 不表示代码应显式求逆。
  4. 小行列式不是判断稳定性的完整标准，条件数更直接。
  5. 伪逆阈值会影响数值秩与最终解。

常见问答

Q1：为什么某些教材仍写逆矩阵闭式解？

闭式写法有助于分析解如何依赖数据、证明性质和推导正则化。实现应使用等价的稳定求解过程。

Q2：伪逆会不会总导致过拟合？

它在欠定系统中选最小 L2 范数插值解，可能具有一定隐式正则化，但泛化仍取决于数据、噪声与表示。显式正则化常更稳健。

Q3：矩阵“几乎不可逆”是什么意思？

最小奇异值很小、条件数很大。理论上有逆，但微小数据误差会引起巨大解变化。

练习

  1. 判断 [1224]\begin{bmatrix}1&2\\2&4\end{bmatrix} 是否可逆。
  2. 计算对角矩阵 diag⁡(2,5)\operatorname{diag}(2,5) 的逆。
  3. 写出 (ABC)−1(ABC)^{-1}。
  4. 为什么 A+bA^+b 在无精确解时仍有意义？
  5. 解释 AA+AA^+ 的几何意义。

答案与提示

  1. 不可逆，行列式为 0，第二行是第一行两倍。
  2. diag⁡(1/2,1/5)\operatorname{diag}(1/2,1/5)。
  3. C−1B−1A−1C^{-1}B^{-1}A^{-1}。
  4. 它最小化 Euclidean 残差，并在并列解中选最小范数者。
  5. 把 Rm\mathbb R^m 中向量正交投影到 AA 的列空间。