设 V 是一个线性空间,x 是一个线性空间上的元素。范数 ∥x∥ 是一个实函数,需要满足如下条件:
- ∥x∥≥0,并且范数为 0 当且仅当 x=0
- ∥αx∥=∣α∣∥x∥
- ∥x+y∥≤∥x∥+∥y∥
Lp 范数
一般的定义是
∥x∥p=(i=1∑n∣xi∣p)1/p
常用的范数是 L1,L2,L∞。
可以把矩阵当作一个向量来定义范数,这样定义出来的 L2 范数也成为 Frobenius 范数。
∥A∥F=i,j∑∣Aij∣2=tr(A∗A)=i∑σi2
这里有一个好的性质,∥A∥F=∥QA∥F 若 Q 是酉矩阵。
诱导范数
∥A∥=x=0sup∥x∥∥Ax∥
它的几何含义是矩阵 A 能够「拉伸」一个向量的程度。它满足
- 矩阵乘向量:∥Ay∥≤∥A∥∥y∥
- 矩阵乘矩阵:∥AB∥≤∥A∥∥B∥
- 和特征值的关系:∥A∥≥max∣λ