数学最速下降法本页总览最速下降法阐述 线性问题 注意到函数值下降最快的方向是 −∇xˉf=r=b−Ax-\nabla_{\bar x}f=r=b-Ax−∇xˉf=r=b−Ax 因此需要进行线搜索 minα∈Cf(x+αd)\min_{\alpha\in\mathbb C}f(x+\alpha d)α∈Cminf(x+αd) 解给出 α=d∗rd∗Ad\alpha=\frac{d^*r}{d^*Ad}α=d∗Add∗r 预条件 如果对矩阵应用 预条件，则 dn=Mrnd_n=Mr_ndn=Mrn，若 MMM 接近于 Hessian 矩阵的逆，则这个方法非常类似于 拟 Newton 法。 非线性问题 实例 性质 复杂度 Θ(mn)\Theta(mn)Θ(mn) 计算 Θ(n)\Theta(n)Θ(n) 矩阵向量乘法 Θ(m)\Theta(m)Θ(m) 存储 收敛性 如果 κ(A)≫1\kappa(A)\gg 1κ(A)≫1，可能不收敛。而且可能出现反复振荡的情况 相关内容 参考文献
