奇异值分解

阐述

任何一个 $m\times n$ 矩阵可以分解为 $m\times r$ 、 $r\times r$ 、 $r\times n$ 矩阵的乘积：

A=U\Sigma V^*

其中 $r$ 是 $A$ 的秩， $\Sigma=\operatorname{diag}(\sigma_1,\cdots,\sigma_r)$ 而 $\sigma_i>0$ 是 $A$ 的奇异值。 $U$ 和 $V$ 是正交基，满足 $U^*U=V^*V=1$ .

显然， $A^*A$ 具有非零特征值 $\lambda_i=\sigma_i^2$ ，特征向量就是 $V$ 中的向量，因此 $\|A\|_2=\sigma_\max$ ，并且条件数 $\kappa(A)=\sigma_\max/\sigma_\min$ 。

首先计算 $A^*A$ 的特征值问题，得到正特征值和相应的特征向量 $\lambda_r,v_r$ ；然后注意到 $u_i=Av_i/\sigma_i$ 是 $AA^*$ 的特征向量。另外，我们有 $N(A^*A)=N(A)$ ，也就是说它们的零空间相同。

所以，对于一个向量 $x$ ，总是可以把它分解为在零空间和不在零空间中的两部分，

Ax=\sum_iAv_iv_i^*x=\left(\sum_i\sigma_iu_iv_i^*\right)x

奇异值分解也可以写成 $A=U\Sigma V^*$ ， $m\times m$ 、 $m\times n$ 、 $n\times n$ ，这样左右两边就都是酉矩阵。这个分解和前面的关系是

U\Sigma V=(\hat U,\hat U^\perp)\begin{pmatrix}\hat\Sigma&0\\0&0\end{pmatrix}(\hat V,\hat V^\perp)^*

其中 $\hat U^\perp$ 是 $AA^*$ 的特征值 0 向量空间，而 $\hat V^\perp$ 是 $A^*A$ 的特征值 0 向量空间。

A=\sum_i\sigma_iu_iv_i^*\approx\sum_{i=1}^{r'<r}\sigma_iu_iv_i^*

也就是说可以只看其中几个比较大的特征值。

从 SVD 可以推导出，矩阵的条件数

\kappa(A)=\begin{cases}\sigma_\max/\sigma_\min&\operatorname{rank}(A)=n\\\infty&\operatorname{rank}(A)<n\end{cases}

另外，注意到 $A^*A$ 本身具有奇异值分解 $\hat V\hat\Sigma^2\hat V^*$ ，所以 $\kappa(A^*A)=\kappa(A)^2$ 。

如果 $Q$ 的列是正交的，那么实际上它的 SVD 就是自身，所以所有的奇异值都是 1. 这样 $\kappa(Q)=1$ .