共轭梯度法(Conjugate Gradient)是介于最速下降法与牛顿法之间的一个方法
- 仅需利用一阶导数信息,但克服了最速下降法收敛慢的缺点,
- 避免了牛顿法需要存储和计算Hessian矩阵(占用空间大)并求逆的缺点
- 求解大型线性方程组或非线性最优化问题时常用且高效的方法
1 共轭方向法
设$G$为对称正定矩阵,若$d^T_mGd_n=0,\ m\neq n$ ,则称$d_m$和$d_n$为“G共轭”,共轭方向是“互不相关”的方向
共轭是正交的推广,$n$个共轭向量可以作为$n$维空间的非正交基,共轭向量间是线性无关的
共轭方向法