矩阵的四个基本空间, 不了解下吗?

秩-零化度定理告诉我们: $m\times n$ 阶矩阵 $A$ 的零空间(Nullspace) $N(A)$ 和列空间(Column sapce) $C(A)$ 的关系:

$$ n = \dim N(A) + \dim C(A) $$

本次依据秩-零化度定理, 介绍四个基本空间, 并证明它们的正交性关系, 最后, 给出一道经典例题.

四个基本空间

将矩阵 $A$ 行列互换, 称为 $A$ 的转置, 记为 $A^{\mathsf T}$. 则对应的: $C(A^{\mathsf T})$ 表示 $A$ 的行空间(Row space), 对应地将 $N(A^{\mathsf T})$ 称为 $A$ 的左零空间(Left nullspace).

首先, 因为行秩 = 列秩, 所以

$$ n = \dim N(A) + \dim C(A^{\mathsf T}) $$

然后, 转置并参考秩-零化度定理

$$ m = \dim N(A^{\mathsf T}) + \dim C(A) $$

综上, 对于 $m \times n$ 阶矩阵 $A$ 有:

正交关系

实际上, 行空间和零空间在 $\mathbb{R}^n$ 中是直和关系, 相应的, 列空间和左零空间在 $\mathbb{R}^m$ 中是直和关系, 如下图所示

下面, 证明这两个直和(正交)关系

简要证明

1. $\mathbb{R}^n = C(A^{\mathsf T}) \oplus N(A)$

• 对 $\forall, x_1 \in C(A^{\mathsf T}), \forall , x_2 \in N(A)$, 成立 $x=x_1+x_2 \in \mathbb{R}^n$
• 假设 $x \in C(A^{\mathsf T}) \cap N(A)$, 即

$$ \begin{cases} Ax = 0 & \forall , x \in N(A) \\[3pt] A^{\mathsf T}y = x & \exists, y \in C(A^{\mathsf T}) \end{cases} $$

联立即得

$$ AA^{\mathsf T}y = 0 $$

左右同乘 $y^{\mathsf T}$

$$ y^{\mathsf T}AA^{\mathsf T}y = (A^{\mathsf T}y)^{\mathsf T}A^{\mathsf T}y=0 $$

得到

$$ x = A^{\mathsf T}y = 0 $$

即

$$ C(A^{\mathsf T}) \cap N(A) = {0} $$

结论得证.

2. $\mathbb{R}^m = C(A) \oplus N(A^{\mathsf T})$

记 $B=A^{\mathsf T}$, 利用证明 1

$$ \mathbb{R}^m = C(B^{\mathsf T}) \oplus N(B) $$

将 $B^{\mathsf T} = (A^{\mathsf T})^{\mathsf T} = A$ 带入上式, 即证.

经典例题

假设存在 $m\times n$ 阶矩阵 $A$, 给定一个向量 $b\in,\mathbb{R}^m$, 且已知 $Ax = b$ 有解. 试证

1. 存在唯一 $y \in, C(A^{\mathsf Ｔ})$, 使得 $Ay = b$ 成立.
2. 所有解中, 行空间 $C(A^{\mathsf T})$ 中的解 $y$ 的长度最小.
3. 假设 $A$ 行满秩(${\rm rank}(A) = m$), 求 $y \in , C(A^{\mathsf T})$ (用 $A, b$ 表示)

证:

1 . 存在唯一 $y \in, C(A^{\mathsf Ｔ})$, 使得 $Ay = b$ 成立.

• 存在性
  假设 $x \in \mathbb{R}^n$ 满足 $Ax=b$, 因为 $C(A^{\mathsf T})$ 和 $N(A)$ 是直和关系, 所以 $x$ 可唯一地分解为 $$ x = y + z $$ 其中, $y\in, C(A^{\mathsf T}), z \in N(A)$, 那么 $$\begin{align*} Ax &= A(y+z) \\[3pt]&= Ay + Az \\[3pt]&= Ay = b \end{align*}$$ 成立.

• 唯一性
  假设 $y^{\prime} \in, C(A^{\mathsf T})$, 也满足 $Ay^{\prime} = b$. 则 $$ Ay - Ay^{\prime} = A(y-y^{\prime}) =0 $$ 即 $y-y^{\prime} \in, N(A)$, 又因为 $y-y^{\prime} \in , C(A^{\mathsf T})$, 所以 $$ y-y^{\prime} = 0 $$ 即 $y = y^{\prime}$.

2 . 所有解中, 行空间 $C(A^{\mathsf T})$ 中的解 $y$ 的长度最小.

联系问 1, 解 $x = y + z$, 其中 $y\in, C(A^{\mathsf T}), z \in N(A)$. 因为二者正交, 所以

$$\begin{align*} \lVert x \rVert^2 &= (y+z)^{\mathsf T}(y+z) \\[3pt]&= \lVert y \rVert^2 + \lVert z \rVert^2 \geq \lVert y \rVert^2\end{align*}$$

$z = 0$ 时, 等号成立.

3 . 假设 $A$ 行满秩(${\rm rank}(A) = m$), 求 $y \in , C(A^{\mathsf T})$ (用 $A, b$ 表示)

因为 $y \in , C(A^{\mathsf T})$, 则 $y$ 可表示为 $y=A^{\mathsf T}x$.则 $$ Ay = AA^{\mathsf T} x = b $$ 若 $AA^{\mathsf T}$ 满秩, 则 $$ x = (AA^{\mathsf T})^{-1}b $$ 可得到 $$y=A^{\mathsf T}(AA^{\mathsf T})^{-1}b$$ 下面证明 ${\rm rank} A ={\rm rank } AA^{\mathsf T}$, 只需证明 $$ \begin{cases}Ax =0 \\[3pt] A^{\mathsf T}Ax=0 \end{cases}$$ 同解. 显然, $Ax = 0 \Longrightarrow A^{\mathsf T}Ax=0$.

若满足 $A^{\mathsf T}Ax=0$, 左右同乘 $x^{\mathsf T}$

$$ x^{\mathsf T}A^{\mathsf T}Ax=(Ax)^{\mathsf T}Ax=0 $$

即得 $Ax = 0$. 所以 ${\rm rank} A = {\rm rank } A^{\mathsf T}A={\rm rank } AA^{\mathsf T}$.

总结

从空间的角度理解线代才是掌握线代的不二法门.

矩阵的四个基本空间是很重要的概念, 可以帮助我们从空间的角度理解线性方程组解的结构, 甚至是最小二乘法.

由于篇幅原因, 下次介绍最小二乘法($A^{\mathsf T}Ax = A^{\mathsf T}b$).