----------------------先閑聊幾句------------------------------------
[1]首次提出了梯度下降法和最速下降法，既然柯西寫出來了，所以這兩個(gè)算法肯定不個(gè)一個(gè)東西,它們的區(qū)別是學(xué)習(xí)率是否恒定。
[4]提出了GoldStein法則

Wolfe準(zhǔn)則以及Goldstein
[5][8]給出了具體的代碼實(shí)現(xiàn),
[6][7]中給出了手算steepest descent的例子

梯度的定義:
$gradf(x,y,z)=\frac{?f}{?x}i+\frac{?f}{?y}j$

然后稍微整理下目前學(xué)過的凸優(yōu)化的一些方法:
1.steepest descent(默認(rèn)無(wú)約束凸優(yōu)化,使用歐式范數(shù)就是梯度下降,使用Hessian范數(shù)就是牛頓法,參考[10])
2.牛頓法(二階牛頓法求最小值,多維即可涉及Hessian矩陣,計(jì)算量巨大,備受吐槽)
3.擬牛頓法(DFP、BFGS、L-BFGS)
4.共軛梯度法

而且Armijo-Goldstein法則和Wolfe-power法則的應(yīng)用則是包含在上述算法的line-search環(huán)節(jié)中的
這篇博文是對(duì)[2]里面的內(nèi)容進(jìn)行進(jìn)一步詳細(xì)的闡述

--------------------閑談結(jié)束,下面開始偽代碼--------------------------
文的重點(diǎn)是描述steepest descent的原理細(xì)節(jié).

首先是steepest descent算法偽代碼[6]:
1.取初始點(diǎn)$X^{(0)}$,容許誤差(精度)$?>0,k:=0$
這里的:=符號(hào)的意思是"定義為"的意思.
2.計(jì)算$p^{(k)}=?▽f(X^{(k)})$
3.檢驗(yàn)||$p^{(k)}$||≤$?$?若是迭代終止,取$X^{?}=X^{(k)},$否則轉(zhuǎn)4
4.求最有步長(zhǎng)${\lambda }_k$,
$mi{n}_{\lambda \ge 0}f(X^{(k)}+{\lambda }_k{p}^k)=f(X^{(k)}+{\lambda }_k{p}^{(k)})$(一維搜索)
5.令$X^{(k+1)}=X^{(k)}+{\lambda }_k{p}^{(k)},令k:=k+1,轉(zhuǎn)2$
注意:
2中利用了一個(gè)結(jié)論:一維搜索最優(yōu)解的梯度$▽f(X^{(k+1)})與搜索方向p^{(k)}正交①$
[10]中雖然有理論證明,這里我來一個(gè)幾何上面的直觀解釋吧:
為什么是正交的呢?

下面的黑線部分是$X^{(k)}$,
虛線部分是${\lambda }_k{p}^{(k)}$,
棕色線條的長(zhǎng)度是${\lambda }_k,mi{n}_{\lambda \ge 0}f(X^{(k)}+{\lambda }_k{p}^{(k)})$
橙色的點(diǎn)是$f(X)=0$的坐標(biāo).

①中的結(jié)論等效于:
夾角多大的時(shí)候,${\lambda }_k,mi{n}_{\lambda \ge 0}f(X^{(k)}+{\lambda }_k{p}^{(k)})$得到最小值?
講人話就是,角度多大,橙色點(diǎn)到虛線距離最短?
顯然你們都知道:
點(diǎn)(橙色點(diǎn))到直線距離是垂直的時(shí)候,距離最短,
從而①結(jié)論得證.

#--------------------------------根據(jù)上面的正交結(jié)論來證明${\lambda }_k$的取值,證明過程來自[6]---------------------------------------------
證明以下結(jié)論:
${\lambda }_k=\frac{g^{(k)T}{p}^{(k)}}{p^{(k)T}Q{p}^{(k)}}$

$f(X)=\frac{1}{2}{X}^{T}QX+b^{T}X+c$
準(zhǔn)備工作:
令$g^{(k)}$$=▽f(X^{(k)})$
$▽f(X)=QX+b$
$X^{(k+1)}=X^{(k)}+{\lambda }_k{p}^{(k)}$
$▽f(X^{(k+1)}{)}^T{p}^{(k)}=0$
開始證明:
$g^{(k)}$
$=▽f(X^{(k)})$
$=Q{X}^{(k)}+b$

$g^{(k+1)}$
$=▽f(X^{(k+1)})$
$=Q{X}^{(k+1)}+b$
$=Q(X^{(k)}+{\lambda }_k{p}^k)+b$
$=Q{X}^{(k)}+b+{\lambda }_{k}Q{p}^{(k)}$
$=[Q{X}^{(k)}+b]+{\lambda }_{k}Q{p}^{(k)}$
$=g^{(k)}+{\lambda }_{k}Q{p}^{(k)}$

利用前面的結(jié)論:
$g^{(k+1)T}{p}^{(k)}$
$=(g^{(k)}+{\lambda }_{k}Q{p}^{(k)}{)}^T{p}^{(k)}$
$=g^{(k)T}{p}^{(k)}+{\lambda }_k{p}^{(k)T}Q{p}^{(k)}$
$=0$

得到:
${\lambda }_k=?\frac{g^{(k)T}{p}^{(k)}}{p^{(k)T}Q{p}^{(k)}}$

------------------------下面是手算steepest descent案例,來自[6]------------------------------------
用最速下降法求$f(X)=x_1^2+4x_2^2$的極小值點(diǎn),
迭代兩次.$X^{(0)}=(1,1{)}^T,?=10^{?4}$

當(dāng)然了,因?yàn)檎麄€(gè)式子就是兩個(gè)平方項(xiàng),我們可以一眼看出,最終結(jié)果$X^{?}=(0,0{)}^T$
這里只是為了展示算法流程
求解:
$$f(X)=\frac{1}{2}(2x_1^2+8x_2^2)=\frac{1}{2}{X}^{T}QX$$

得到Q=$\left[\begin{array}{cc}2& 0\\ 0& 8\end{array}\right]$
$g(X)=▽f(X)=\left[\begin{array}{c}2x_1\\ 8x_2\end{array}\right]$
第一次迭代
1.k=0
2.$p^{(0)}=?g^{(0)}=?\left[\begin{array}{c}2\\ 8\end{array}\right]$

這里稍微說一下,這里為什盯著$p^{(0)}$的長(zhǎng)度作為迭代終止條件呢?
這個(gè)要根據(jù)算法第4步驟來理解,
因?yàn)槿绻諗?也就是到等高線額谷底的話,${\lambda }_k{p}^{(k)}$的數(shù)值肯定是很小的.
判斷${\lambda }_k{p}^{(k)}$與判斷$p^{(k)}$的迭代終止效果應(yīng)該是一致的.
$||p^{(0)}||=\sqrt{(?2{)}^2+(?8{)}^2}=\sqrt{68}$

4.${\lambda }_0=?\frac{g^{(0)T}{p}^{(0)}}{p^{(0)T}Q{p}^{(0)}}=\frac{(2,8)\left[\begin{array}{c}2\\ 8\end{array}\right]}{(2,8)\left[\begin{array}{c}2,0\\ 0,8\end{array}\right]\left[\begin{array}{c}2\\ 8\end{array}\right]}=\frac{68}{520}=0.13077$
5.$X^{(1)}=X^{(0)}+{\lambda }_0{p}^{(0)}=\left[\begin{array}{c}1\\ 1\end{array}\right]?0.13077\left[\begin{array}{c}2\\ 8\end{array}\right]=\left[\begin{array}{c}0.73846\\ ?0.04616\end{array}\right]$

第二次迭代
1.k=1
2.$p^{(1)}=?g^{(1)}=?\left[\begin{array}{c}1.47692\\ ?0.39623\end{array}\right]$
3.||$p^{(1)}$||=1.52237
4.${\lambda }_1=?\frac{g^{(1)}T{p}^{(1)}}{p^{(1)T}Q{p}^{(1)}}=0.425$
5.$X^{(2)}=X^{(1)}+{\lambda }_1{p}^{(1)}=\left[\begin{array}{c}0.73846\\ ?0.04616\end{array}\right]?0.425\left[\begin{array}{c}1.47692\\ ?0.39623\end{array}\right]=\left[\begin{array}{c}0.11076\\ 0.11076\end{array}\right]$
k=2

然后再繼續(xù)往下面迭代(略)
-----------------------------------------------------------------
steep descent具體代碼實(shí)現(xiàn)是[5][8],但是注意,因?yàn)樯厦娴氖炙銢]有使用Armijo-Goldstein法則和Wolfe-power法則,
但是[5][8]使用了Armijo-Goldstein法則,所以代碼的運(yùn)行過程和手算過程是對(duì)應(yīng)不上的.
但是代碼的運(yùn)行結(jié)果是可以和手算結(jié)果對(duì)應(yīng)上的
-----------------------------------------------------------------
Reference:
[1]Methode g ′ en′ erale pour la r ′ esolution des syst ′ emes `d’equations simultan ′ ees
[2]再談 梯度下降法/最速下降法/Gradient descent/Steepest Descent
[3]文獻(xiàn)已經(jīng)沒啥用了-已經(jīng)刪除.
[4]Cauchy’s method of minimization
[5]用Python實(shí)現(xiàn)最速下降法求極值
[6]最速下降法-百度文庫(kù)
[7]【最優(yōu)化】一文搞懂最速下降法
[8]最速下降法（梯度下降法）python實(shí)現(xiàn)
[9]Step-size Estimation for Unconstrained Optimization Methods
[10]梯度下降法和最速下降法的細(xì)微差別

總結(jié)

以上是生活随笔為你收集整理的最速下降法steepest descent详细解释的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。