----------------------先閑聊幾句------------------------------------
[1]首次提出了梯度下降法和最速下降法，既然柯西寫出來了，所以這兩個算法肯定不個一個東西,它們的區(qū)別是學(xué)習率是否恒定。
[4]提出了GoldStein法則

Wolfe準則以及Goldstein
[5][8]給出了具體的代碼實現(xiàn),
[6][7]中給出了手算steepest descent的例子

梯度的定義:
$gradf(x,y,z)=\frac{?f}{?x}i+\frac{?f}{?y}j$

然后稍微整理下目前學(xué)過的凸優(yōu)化的一些方法:
1.steepest descent(默認無約束凸優(yōu)化,使用歐式范數(shù)就是梯度下降,使用Hessian范數(shù)就是牛頓法,參考[10])
2.牛頓法(二階牛頓法求最小值,多維即可涉及Hessian矩陣,計算量巨大,備受吐槽)
3.擬牛頓法(DFP、BFGS、L-BFGS)
4.共軛梯度法

而且Armijo-Goldstein法則和Wolfe-power法則的應(yīng)用則是包含在上述算法的line-search環(huán)節(jié)中的
這篇博文是對[2]里面的內(nèi)容進行進一步詳細的闡述

--------------------閑談結(jié)束,下面開始偽代碼--------------------------
文的重點是描述steepest descent的原理細節(jié).

首先是steepest descent算法偽代碼[6]:
1.取初始點$X^{(0)}$,容許誤差(精度)$?>0,k:=0$
這里的:=符號的意思是"定義為"的意思.
2.計算$p^{(k)}=?▽f(X^{(k)})$
3.檢驗||$p^{(k)}$||≤$?$?若是迭代終止,取$X^{?}=X^{(k)},$否則轉(zhuǎn)4
4.求最有步長${\lambda }_k$,
$mi{n}_{\lambda \ge 0}f(X^{(k)}+{\lambda }_k{p}^k)=f(X^{(k)}+{\lambda }_k{p}^{(k)})$(一維搜索)
5.令$X^{(k+1)}=X^{(k)}+{\lambda }_k{p}^{(k)},令k:=k+1,轉(zhuǎn)2$
注意:
2中利用了一個結(jié)論:一維搜索最優(yōu)解的梯度$▽f(X^{(k+1)})與搜索方向p^{(k)}正交①$
[10]中雖然有理論證明,這里我來一個幾何上面的直觀解釋吧:
為什么是正交的呢?

下面的黑線部分是$X^{(k)}$,
虛線部分是${\lambda }_k{p}^{(k)}$,
棕色線條的長度是${\lambda }_k,mi{n}_{\lambda \ge 0}f(X^{(k)}+{\lambda }_k{p}^{(k)})$
橙色的點是$f(X)=0$的坐標.

①中的結(jié)論等效于:
夾角多大的時候,${\lambda }_k,mi{n}_{\lambda \ge 0}f(X^{(k)}+{\lambda }_k{p}^{(k)})$得到最小值?
講人話就是,角度多大,橙色點到虛線距離最短?
顯然你們都知道:
點(橙色點)到直線距離是垂直的時候,距離最短,
從而①結(jié)論得證.

#--------------------------------根據(jù)上面的正交結(jié)論來證明${\lambda }_k$的取值,證明過程來自[6]---------------------------------------------
證明以下結(jié)論:
${\lambda }_k=\frac{g^{(k)T}{p}^{(k)}}{p^{(k)T}Q{p}^{(k)}}$

$f(X)=\frac{1}{2}{X}^{T}QX+b^{T}X+c$
準備工作:
令$g^{(k)}$$=▽f(X^{(k)})$
$▽f(X)=QX+b$
$X^{(k+1)}=X^{(k)}+{\lambda }_k{p}^{(k)}$
$▽f(X^{(k+1)}{)}^T{p}^{(k)}=0$
開始證明:
$g^{(k)}$
$=▽f(X^{(k)})$
$=Q{X}^{(k)}+b$

$g^{(k+1)}$
$=▽f(X^{(k+1)})$
$=Q{X}^{(k+1)}+b$
$=Q(X^{(k)}+{\lambda }_k{p}^k)+b$
$=Q{X}^{(k)}+b+{\lambda }_{k}Q{p}^{(k)}$
$=[Q{X}^{(k)}+b]+{\lambda }_{k}Q{p}^{(k)}$
$=g^{(k)}+{\lambda }_{k}Q{p}^{(k)}$

利用前面的結(jié)論:
$g^{(k+1)T}{p}^{(k)}$
$=(g^{(k)}+{\lambda }_{k}Q{p}^{(k)}{)}^T{p}^{(k)}$
$=g^{(k)T}{p}^{(k)}+{\lambda }_k{p}^{(k)T}Q{p}^{(k)}$
$=0$

得到:
${\lambda }_k=?\frac{g^{(k)T}{p}^{(k)}}{p^{(k)T}Q{p}^{(k)}}$

------------------------下面是手算steepest descent案例,來自[6]------------------------------------
用最速下降法求$f(X)=x_1^2+4x_2^2$的極小值點,
迭代兩次.$X^{(0)}=(1,1{)}^T,?=10^{?4}$

當然了,因為整個式子就是兩個平方項,我們可以一眼看出,最終結(jié)果$X^{?}=(0,0{)}^T$
這里只是為了展示算法流程
求解:
$$f(X)=\frac{1}{2}(2x_1^2+8x_2^2)=\frac{1}{2}{X}^{T}QX$$

得到Q=$\left[\begin{array}{cc}2& 0\\ 0& 8\end{array}\right]$
$g(X)=▽f(X)=\left[\begin{array}{c}2x_1\\ 8x_2\end{array}\right]$
第一次迭代
1.k=0
2.$p^{(0)}=?g^{(0)}=?\left[\begin{array}{c}2\\ 8\end{array}\right]$

這里稍微說一下,這里為什盯著$p^{(0)}$的長度作為迭代終止條件呢?
這個要根據(jù)算法第4步驟來理解,
因為如果收斂,也就是到等高線額谷底的話,${\lambda }_k{p}^{(k)}$的數(shù)值肯定是很小的.
判斷${\lambda }_k{p}^{(k)}$與判斷$p^{(k)}$的迭代終止效果應(yīng)該是一致的.
$||p^{(0)}||=\sqrt{(?2{)}^2+(?8{)}^2}=\sqrt{68}$

4.${\lambda }_0=?\frac{g^{(0)T}{p}^{(0)}}{p^{(0)T}Q{p}^{(0)}}=\frac{(2,8)\left[\begin{array}{c}2\\ 8\end{array}\right]}{(2,8)\left[\begin{array}{c}2,0\\ 0,8\end{array}\right]\left[\begin{array}{c}2\\ 8\end{array}\right]}=\frac{68}{520}=0.13077$
5.$X^{(1)}=X^{(0)}+{\lambda }_0{p}^{(0)}=\left[\begin{array}{c}1\\ 1\end{array}\right]?0.13077\left[\begin{array}{c}2\\ 8\end{array}\right]=\left[\begin{array}{c}0.73846\\ ?0.04616\end{array}\right]$

第二次迭代
1.k=1
2.$p^{(1)}=?g^{(1)}=?\left[\begin{array}{c}1.47692\\ ?0.39623\end{array}\right]$
3.||$p^{(1)}$||=1.52237
4.${\lambda }_1=?\frac{g^{(1)}T{p}^{(1)}}{p^{(1)T}Q{p}^{(1)}}=0.425$
5.$X^{(2)}=X^{(1)}+{\lambda }_1{p}^{(1)}=\left[\begin{array}{c}0.73846\\ ?0.04616\end{array}\right]?0.425\left[\begin{array}{c}1.47692\\ ?0.39623\end{array}\right]=\left[\begin{array}{c}0.11076\\ 0.11076\end{array}\right]$
k=2

然后再繼續(xù)往下面迭代(略)
-----------------------------------------------------------------
steep descent具體代碼實現(xiàn)是[5][8],但是注意,因為上面的手算沒有使用Armijo-Goldstein法則和Wolfe-power法則,
但是[5][8]使用了Armijo-Goldstein法則,所以代碼的運行過程和手算過程是對應(yīng)不上的.
但是代碼的運行結(jié)果是可以和手算結(jié)果對應(yīng)上的
-----------------------------------------------------------------
Reference:
[1]Methode g ′ en′ erale pour la r ′ esolution des syst ′ emes `d’equations simultan ′ ees
[2]再談 梯度下降法/最速下降法/Gradient descent/Steepest Descent
[3]文獻已經(jīng)沒啥用了-已經(jīng)刪除.
[4]Cauchy’s method of minimization
[5]用Python實現(xiàn)最速下降法求極值
[6]最速下降法-百度文庫
[7]【最優(yōu)化】一文搞懂最速下降法
[8]最速下降法（梯度下降法）python實現(xiàn)
[9]Step-size Estimation for Unconstrained Optimization Methods
[10]梯度下降法和最速下降法的細微差別

總結(jié)

以上是生活随笔為你收集整理的最速下降法steepest descent详细解释的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。