本文主要用來比較兩個算法到底差別在哪里

stepFletcher-Reevers Conjugate DescentSteepest Descent

$1st$	$選擇初始點x^{(1)}$, 設定$?$,k=1	$選擇初始點x^{(1)}$, 設定$?$,k=1
$2_{nd}$	令$g_1=▽f(x^{(1)})$, 若$g_1<?$, 則$x^{(1)}$是所求極小值點; 否則,令$d^{(1)}=?g_1$,計算${\lambda }_k$, 令$x^{(2)}=x^{(1)}+{\lambda }_1{d}^{(1)}$	令$g_1=▽f(x^{(1)})$, 若$g_1<?$, 則$x^{(1)}$是所求極小值點; 否則,令$d^{(1)}=?g_1$,計算${\lambda }_1$, 令$x^{(2)}=x^{(1)}+{\lambda }_1{d}^{(1)}$
$其中{\lambda }_k$	${\lambda }_k=?\frac{g_k^T{d}^{(k)}}{d^{(k{)}^T}A{d}^{(k)}}$	${\lambda }_k=?\frac{g_k^T{d}^{(k)}}{d^{(k{)}^T}A{d}^{(k)}}$
$3_{th}$	$令g_{k+1}=▽f(x^{(k+1)})$, 若$g_{k+1}<?$, 則$x^{(k+1)}$是所求極小值點; 否則,令$d^{(k+1)}=?g_{k+1}+{\beta }_k{d}^{(k)}$, k:=k+1	$令g_{k+1}=▽f(x^{(k+1)})$, 若$g_{k+1}<?$, 則$x^{(k+1)}$是所求極小值點; 否則,令$d^{(k+1)}=?g_{k+1}$, k:=k+1
$其中{\beta }_k$	${\beta }_k=\frac{d^{(k{)}^T}A{g}_{k+1}}{d^{(k{)}^T}A{d}^{(k)}}$	N/A
$4_{th}$	令$x^{(k+1)}=x^{(k)}+{\lambda }_k{d}^{(k)}$,轉$3_{th}$ step	令$x^{(k+1)}=x^{(k)}+{\lambda }_k{d}^{(k)}$,轉$3_{th}$ step

$可以看到，兩種算法的差別其實就是第3_{th}步驟$

steepest descent的算法示意圖如下:

Fletcher-Reevers Conjugate Descent的算法示意圖如下:

上圖中，注意基本概念：
梯度與等高線垂直;
兩次搜索方向是垂直的;
共軛梯度體現在${\beta }_k$的計算中，
谷底最低點不一定和$x^{(3)},x^{(2)}$共線．

############################################
另外注意[2]和[3]的${\beta }_k$略微有所不同．

Reference:
[1]最優化共軛梯度法-第十一頁
[2]最速下降法-第十八頁
[3]http://www.cs.cmu.edu/~pradeepr/convexopt/Lecture_Slides/conjugate_direction_methods.pdf

總結

以上是生活随笔為你收集整理的Fletcher-Reevers Conjugate Descent和Steepest Descent两种算法中伪代码的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。