范数

阐述

设 $V$ 是一个线性空间，$x$ 是一个线性空间上的元素。范数 $\|x\|$ 是一个实函数，需要满足如下条件：

1. $\|x\|\ge 0$，并且范数为 0 当且仅当 $x=0$
2. $\|\alpha x\|=|\alpha|\|x\|$
3. $\|x+y\|\le\|x\|+\|y\|$

$L^p$ 范数

一般的定义是

$$\|x\|_p=\left(\sum_{i=1}^n|x_i|^p\right)^{1/p}$$

常用的范数是 $L_1, L_2, L_\infty$。

可以把矩阵当作一个向量来定义范数，这样定义出来的 $L_2$ 范数也成为 Frobenius 范数。

$$\|A\|_F=\sqrt{\sum_{i,j}|A_{ij}|^2}=\sqrt{\operatorname{tr}(A^*A)}=\sqrt{\sum_i\sigma_i^2}$$

这里有一个好的性质，$\|A\|_F=\|QA\|_F$ 若 $Q$ 是酉矩阵。

诱导范数

$$\|A\|=\sup_{x\ne 0}\frac{\|Ax\|}{\|x\|}$$

它的几何含义是矩阵 $A$ 能够「拉伸」一个向量的程度。它满足

• 矩阵乘向量：$\|Ay\|\le\|A\|\|y\|$
• 矩阵乘矩阵：$\|AB\|\le\|A\|\|B\|$
• 和特征值的关系：$\|A\|\ge\max|\lambda|$
• 特别地，诱导 2-范数 \|A\|_2=\sigma_\max 可以和奇异值联系上

实例

性质

范数等价性

任意两个范数都是等价的

$$C_1\|x\|_b\le\|x\|_a\le C_2\|x\|_b$$

所以，只要使用其中一种范数证明稳定性，其余的范数也是稳定的。例如

$$\frac1{\sqrt n}\|x\|_1\le\|x\|_2\le\|x\|_1$$

相关内容

参考文献