梯度下降法又叫最速下降法，英文名為steepest descend method.估計(jì)搞研究的人應(yīng)該經(jīng)常聽(tīng)見(jiàn)這個(gè)算法吧，用來(lái)求解表達(dá)式最大或者最小值的，屬于無(wú)約束優(yōu)化問(wèn)題。

      首先我們應(yīng)該清楚，一個(gè)多元函數(shù)的梯度方向是該函數(shù)值增大最陡的方向。具體化到1元函數(shù)中時(shí)，梯度方向首先是沿著曲線的切線的，然后取切線向上增長(zhǎng)的方向?yàn)樘荻确较颍?元或者多元函數(shù)中，梯度向量為函數(shù)值f對(duì)每個(gè)變量的導(dǎo)數(shù)，該向量的方向就是梯度的方向，當(dāng)然向量的大小也就是梯度的大小。

      現(xiàn)在假設(shè)我們要求函數(shù)的最值，采用梯度下降法，如圖所示：

      梯度下降法的基本思想還是挺簡(jiǎn)單的，現(xiàn)假設(shè)我們要求函數(shù)f的最小值，首先得選取一個(gè)初始點(diǎn)后，然后下一個(gè)點(diǎn)的產(chǎn)生時(shí)是沿著梯度直線方向，這里是沿著梯度的反方向(因?yàn)榍蟮氖亲钚≈担绻乔笞畲笾档脑拕t沿梯度的方向即

總結(jié)

以上是生活随笔為你收集整理的对梯度下降法的简单理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。