數值計算之 共軛梯度法（2）非線性共軛梯度法

• 前言
• 非線性共軛梯度法

前言

上篇寫了線性共軛梯度法，本篇繼續非線性共軛梯度法

非線性共軛梯度法

非線性共軛梯度法：

$k=0$，通過梯度下降法初始化$x_0,r_0=?f(x_0),p_0=?r_0$

迭代到$k$輪，判斷收斂條件，如果不滿足則進入第3步

通過非精確線搜索計算${\alpha }_k$

$x_{k+1}=x_k+{\alpha }_k{p}_k$

$r_{k+1}=?f(x_{k+1})$

${\beta }_{k+1}=\frac{r_{k+1}^T{r}_{k+1}}{r_k^T{r}_k}$

$p_{k+1}=?r_{k+1}+{\beta }_{k+1}{p}_k$

$k=k+1$

以上就是FR-CG法的流程。

為了確保全局收斂性，使用FR-CG法時，要結合Strong Wolfe Condition，并且收斂速度比較慢。

將$\beta$的更新方式進行更換，可以獲得收斂速度更快的PR-CG法：
$$\begin{gathered} {\hat{\beta }}_{k+1}=\frac{r_{k+1}^T(r_{k+1}?r_k)}{||r_k|{|}^2} \\ {\beta }_{k+1}=\max \{{\hat{\beta }}_{k+1},0\} \end{gathered}$$

總結

以上是生活随笔為你收集整理的数值计算之 共轭梯度法（2）非线性共轭梯度法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。