基本定义

1 矩阵的左右逆

从广义的角度讲，任何一个矩阵 $G$ 都可以称为矩阵 $A$ 的逆矩阵，若它与矩阵 $A$ 的乘积等于单位矩阵 $I$，即满足 $GA = I$。根据矩阵 $A$ 本身的特点，满足这一定义的矩阵 $G$ 存在以下三种可能的情况：

• $G$ 存在，并且唯一；
• $G$ 存在，但不唯一；
• $G$ 不存在。

当$\operatorname{rank} A < min{n,m}$时不存在左右逆，但可以有广义逆

例：

$A_1 = \begin{bmatrix} 2 & -2 & -1 \\ 1 & 1 & -2 \\ 1 & 0 & -1 \end{bmatrix}, \quad A_2 = \begin{bmatrix} 4 & 8 \\ 5 & -7 \\ -2 & 3 \end{bmatrix}, \quad A_3 = \begin{bmatrix} 1 & 3 & 1 \\ 2 & 5 & 1 \end{bmatrix}$

$A_1$ 有唯一逆矩阵

$A_2$ 存在多个 $2 \times 3$ 矩阵 $L$ 使得 $LA_2 = I_{2 \times 2}$（有左逆） 例如

$A_2 = \begin{bmatrix} 4 & 8 \\ 5 & -7 \\ -2 & 3 \end{bmatrix}, \quad L = \begin{bmatrix} 7 & 2 & 0 \\ 68 & 17 & 0 \end{bmatrix}, \quad L = \begin{bmatrix} 0 & 3 & 7 \\ 0 & 2 & 5 \end{bmatrix}, \cdots$

对矩阵 $A_3$，没有任何 $3 \times 2$ 矩阵使得 $G_3 A_3 = I_{3 \times 3}$，但存在多个 $3 \times 2$ 矩阵 $R$，使得 $A_3 R = I_{2 \times 2}$（有右逆） 例如

$A_3 = \begin{bmatrix} 1 & 3 & 1 \\ 2 & 5 & 1 \end{bmatrix}, \quad R = \begin{bmatrix} 1 & 1 \\ -1 & 0 \\ 3 & -1 \end{bmatrix}, \quad R = \begin{bmatrix} -1 & 1 \\ 0 & 0 \\ 2 & -1 \end{bmatrix}, \cdots$

1.1 左右伪逆矩阵

满足 $LA = I$，但不满足 $AL = I$ 的矩阵 $L$ 称为矩阵 $A$ 的左逆矩阵 满足 $AR = I$，但不满足 $RA = I$ 的矩阵 $R$ 称为矩阵 $A$ 的右逆矩阵

• 仅当 $n \geq m$ 时，矩阵 $A \in \mathbb{R}^{n \times m}$ 可能有左逆矩阵；

• 仅当 $n \leq m$ 时，矩阵 $A \in \mathbb{R}^{n \times m}$ 可能有右逆矩阵。

一个矩阵的左逆矩阵或右逆矩阵往往非唯一，下面考虑它们的一个特殊解：

• 考查 $n > m$ 且 $A$ 具有满列秩 ($\operatorname{rank} A = m$) 的情况。此时，$m \times m$ 矩阵 $A^T A$ 是可逆的，容易验证 $L = (A^T A)^{-1} A^T$ 满足 $L A = I$，这个左逆矩阵是唯一确定的，常称为 左伪逆矩阵。

设 $A$ 为 $n \times m$ 矩阵，且列满秩。则存在左逆矩阵 $L$ 满足 $LA = I_m$。一个特解为 $L_0 = (A^T A)^{-1} A^T$。所有左逆可表示为 $L = L_0 + Z$，其中 $Z$ 是任意 $m \times n$ 矩阵且满足 $ZA = 0$。$Z$ 有 $m \times n$ 个未知数，但 $ZA = 0$ 只给出了 $m \times m$ 个方程。于是每个行向量有 $n - m$ 个自由参数，$m$ 行共有 $m(n - m) \ge 1$ 个自由参数。自由参数可以取无穷多个值，所以 $Z$ 有无穷多个解。

• 考查 $n < m$ 且 $A$ 具有满行秩 ($\operatorname{rank} A = n$) 的情况。此时，$n \times n$ 矩阵 $A A^T$ 是可逆的，容易验证 $R = A^T (A A^T)^{-1}$ 满足 $A R = I$，这个右逆矩阵是唯一确定的，常称为 右伪逆矩阵。

2 矩阵的广义逆

考虑一个 $n \times m$ 维的秩亏缺矩阵 $A$（即$\operatorname{rank}(A) < \min\{m, n\}$）。$n \times m$ 维的秩亏缺矩阵的逆矩阵称为 广义逆矩阵。令 $A^-$ 表示 $A$ 的广义逆矩阵。

无论 $A^-A = I_{m \times m}$ 还是 $AA^- = I_{n \times n}$ 都不可能成立。有必要使用三个矩阵的乘积定义一个秩亏缺矩阵 $A$ 的逆矩阵。

考虑线性矩阵方程 $Ax = y$ 的求解。两边左乘 $AA^-$，则有 $AA^-Ax = AA^-y$。若 $A^-$ 是 $A$ 的广义逆矩阵，则 $Ax = y \Rightarrow x = A^-y$，代入 $AA^-Ax = AA^-y$ 可得 $AA^-Ax = Ax$，我们希望该式对任意非零向量 $x$ 均应成立，则必须要求下列约束条件满足：$AA^-A = A$。满足 $AA^-A = A$ 的矩阵 $A^-$ 称为 $A$ 的 广义逆矩阵。

2.1 Moore-Penrose逆矩阵

满足 $AA^{-1}A = A$ 的矩阵 $A^{-1}$ 不是唯一的，存在明显的缺陷。只能保证 $A^{-1}$ 是 $A$ 的广义逆矩阵，并不能保证 $A$ 是 $A^{-1}$ 的广义逆矩阵

考虑原矩阵方程 $Ax = y$ 的解方程 $x = A^{-1}y$ 的求解。两边左乘 $A^{-1}A$，则有 $A^{-1}Ax = A^{-1}AA^{-1}y$。由于矩阵 $A$ 是 $A^{-1}$ 的广义逆矩阵，则 $x = A^{-1}y \Rightarrow Ax = y$，代入 $Ax = y$ 可得 $A^{-1}y = A^{-1}AA^{-1}y$，因此

$A^{-1}AA^{-1} = A^{-1}$也需要满足

我们还希望当 $A$ 是列满秩或者行满秩时，广义逆矩阵 $A^{-1}$ 能够包括左伪逆矩阵和右伪逆矩阵在内的特例：左伪逆矩阵 $L = (A^TA)^{-1}A^T$ 满足 $LA = I$ 但不存在 $AL = I$，但 $AL = A (A^TA)^{-1}A^T = (AL)^T$，同样，右伪逆矩阵满足 $RA = (RA)^T$。所以对称性也要满足

• Moore-Penrose逆矩阵 令 $A$ 是任意 $n \times m$ 矩阵，称 $A^+$ 是 $A$ 的广义逆矩阵，若 $A^+$ 满足以下四个条件（常称 Moore-Penrose 条件）则称为Moore-Penrose逆矩阵
  1. $AA^+A = A$
  2. $A^+AA^+ = A^+$
  3. $AA^+ = (AA^+)^T$
  4. $A^+A = (A^+A)^T$

与逆矩阵、左伪逆矩阵、右伪逆矩阵一样，Moore-Penrose逆矩阵也是唯一的

逆矩阵和上面提到的两种伪逆矩阵都是 Moore-Penrose 逆矩阵的特例

---

求解方法

• Moore-Penrose 逆矩阵 $A^+$ 具有的性质

  1. Moore-Penrose 逆矩阵 $A^+$ 是唯一的
  2. Moore-Penrose 逆矩阵的广义逆矩阵等于原矩阵：$(A^+)^+ = A$
  3. 若 $D = \operatorname{diag}(d_{11}, \cdots, d_{nn})$ 为 $n \times n$ 对角矩阵，则 $D^+ = \operatorname{diag}(d_{11}^+, \cdots, d_{nn}^+)$，其中 $d_{ii}^+ = d_{ii}^{-1}$（若 $d_{ii} \neq 0$）或者 $d_{ii}^+ = 0$（若 $d_{ii} = 0$）

  如此定义后$D$满足Moore-Penrose条件

• 利用 SVD 分解计算 Moore-Penrose 逆矩阵 $A^+$
  若 $n \times m$ 矩阵 $A$ 的奇异值分解为 $A = U \Sigma V^T$，其中 $U$ 是 $n \times n$ 的正交矩阵，$V$ 是 $m \times m$ 的正交矩阵，$\Sigma$ 是 $n \times m$ 的对角矩阵，则 $A^+ = V \Sigma^+ U^T$

  可带入Moore-Penrose条件验证