知识回顾
在 矩阵的四个基本空间, 不了解下吗? 中, 介绍了实矩阵的四个基本空间的正交关系
$$ \begin{cases} C(A^{\mathsf T}) = N(A)^{\perp} \\[3pt] C(A) = N(A^{\mathsf T})^{\perp} \end{cases} $$
即
- 行空间是零空间的正交补;
- 列空间是左零空间的正交补.
◎ 正交关系在四个基本空间中, 通过 初等行变换 得到了它们的普通基底, 这一次首先讨论其正交基底.
正交基底
假设有 $m\times n$ 阶实矩阵 $A$
$$ {\rm rank}(A) = r \leq \max\{m, n \} $$
考虑列向量 Gram 矩阵 $A^{\mathsf T}A$, 由于其是对称矩阵, 所以可以正交单位对角化
$$ A^{\mathsf T}A = V^{\mathsf T}\begin{bmatrix} \sigma_1^2 & 0 & \cdots & 0 \\ 0 & \sigma_2^2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \vdots & \sigma_n^2 \end{bmatrix}V $$
不妨设 $\sigma_i \geq 0$, $V=[v_1, v_2, \cdots, v_n]$
$$ \begin{equation} A^{\mathsf T}A v_i = \sigma_i^2 v_i \quad i = 1, 2, \cdots, n \label{eq:eq1} \end{equation} $$
其中, $\sigma_i^2$ 是列向量 Gram 矩阵 $A^{\mathsf T}A$ 的特征值, $v_i$ 是 $A^{\mathsf T}A$ 对应于 $\sigma_i^2$ 的单位特征向量, 即 $V$ 的列向量是 $\mathbb{R}^n$ 的一组标准正交基, 因此
$$ \lVert Av_i \rVert = v_i^{\mathsf T} A^{\mathsf T} A v_i = \sigma_i^2 v_i^{\mathsf T} v_i = \sigma_i^2 $$
又因为 ${\rm rank}(A^{\mathsf T}A) = {\rm rank}(A) = r$, 不妨设
$$\sigma_1 \geq \sigma_2 \geq \cdots \sigma_r > 0$$
并且,
$$\sigma_{r+1} = \cdots = \sigma_n = 0 $$
所以,
$$ \lVert Av_i \rVert = \sigma_i^2 = 0 \quad i = r+1, \cdots , n $$
即 $Av_i = 0, i = r+1, \cdots , n$
$$\{ v_{r+1}, \cdots, v_n \} \subset N(A) = N(A^{\mathsf T}A)$$
又因为 $\dim N(A) = n-r$, 所以 $\{ v_{r+1}, \cdots, v_n \}$ 是 $N(A)$ 的一组标准正交基,
又因为$C(A^{\mathsf T}) = N(A)^{\perp}$, 所以 $\{ v_{1}, \cdots, v_r \}$ 是 $C(A^{\mathsf T})$ 的一组标准正交基.
对式(\ref{eq:eq1})左右同乘 $A$
$$ AA^{\mathsf T}A v_i = \sigma_i^2 Av_i \quad i = 1, 2, \cdots, n $$
其中, $\sigma_i^2, i=1, \cdots, r$ 是行向量 Gram 矩阵 $AA^{\mathsf T}$ 的非零特征值, $Av_i$ 是 $AA^{\mathsf T}$ 相应于 $\sigma_i$ 的特征向量.
令 $u_i = \frac{Av_i}{\sigma_i}, i = 1, \cdots, r$, 则
$$ \begin{aligned} u_i^{\mathsf T}u_j & = \left(\frac{Av_i}{\sigma_i} \right)^{\mathsf T} \frac{Av_j}{\sigma_j} = \frac{ v_i^{\mathsf T} A^{\mathsf T} A v_j }{\sigma_i \sigma_j} \\[3pt] & = \frac{ \sigma_i \sigma_j v_i^{\mathsf T} v_j }{\sigma_i \sigma_j} = \begin{cases} 1 \quad i=j \\[3pt] 0 \quad i \neq j \end{cases} \end{aligned} $$
所以, $\{ u_1, \cdots u_r \}$ 是单位正交向量组, 继而是 $C(A)$ 的一组标准正交基.
接下来, 扩充单位正交向量 $\{ u_{r+1}, \cdots u_m \}$, 使得 $\{ u_1, \cdots u_r, u_{r+1}, \cdots, u_m \}$ 成为 $\mathbb{R}^m$ 的标准正交基. 因为 $C(A) = N(A^{\mathsf T})^{\perp}$, 所以, $\{ u_{r+1}, \cdots u_m \}$ 是 $N(A^{\mathsf T})$ 的一组标准正交基.
综上, 理论上得到了实矩阵 $A$ 的四个基本空间各自的正交基.
- $\{ v_{1}, \cdots, v_r \}$ 是行空间 $C(A^{\mathsf T})$ 的正交基底;
- $\{ v_{r+1}, \cdots, v_n \}$ 是零空间 $N(A)$ 的正交基底;
- $\{ u_1, \cdots u_r \}$ 是列空间 $C(A)$ 的正交基底;
- $\{ u_{r+1}, \cdots u_m \}$ 是左零空间 $N(A^{\mathsf T})$ 的正交基底.
◎ 正交基底以上运用了一些前几次证明过的结论:
秩
$$ \begin{aligned} r &= \hbox{rank}A=\hbox{rank}A^{\mathsf T} \\[3pt] &=\hbox{rank}(A^{\mathsf T}A)=\hbox{rank}(AA^{\mathsf T}) \end{aligned} $$
列空间
$$ \begin{cases} C(A^{\mathsf T})=C(A^{\mathsf T}A) \\[3pt] C(A)=C(AA^{\mathsf T}) \end{cases} $$
零空间 $$ \begin{cases} N(A)=N(A^{\mathsf T}A) \\[3pt] N(A^{\mathsf T})=N(AA^{\mathsf T}) \end{cases} $$
以及一些结论:
- $A^{\mathsf T}A$ 的特征值为 $\sigma_1^2,\cdots,\sigma_n^2$, 对应单位正交的特征向量 $v_1, \cdots, v_n$
- $AA^{\mathsf T}$ 的特征值为 $\sigma_1^2,\cdots,\sigma_m^2$，对应单位正交的特征向量 $u_1, \cdots, u_m$
- $Av_i=\sigma_iu_i, \sigma_i>0, i=1, \cdots, r$, 且 $Av_i=0, i=r+1, \cdots, n$
- $A^{\mathsf T}u_j=\sigma_jv_j, \sigma_j>0, j=1, \cdots, r$, 且 $A^{\mathsf T}u_j=0, j=r+1, \cdots, m$
特征值分解简介
经过以上过程, 可以将任意 $m\times n$ 阶矩阵 $A$ 分解为 $\{ u_i\}, \{ v_i\}, \{\sigma_i\}$ 构成的三个矩阵的乘积
$$ A = U\Sigma V^{\mathsf T} $$
这就是奇异值分解(singular value decomposition), 简称 SVD.
更多奇异值分解的内容可以戳 这里