轉載自??為什么梯度反方向是函數下降最快的方向

為什么梯度反方向是函數下降最快的方向？

剛接觸梯度下降這個概念的時候，是在學習機器學習算法的時候，很多訓練算法用的就是梯度下降，然后資料和老師們也說朝著梯度的反方向變動，函數值下降最快，但是究其原因的時候，很多人都表達不清楚。所以我整理出自己的理解，從方向導數這個角度把這個結論證明出來，讓我們知其然也知其所以然~

下面我一開始不提梯度的概念，完全根據自己的理解進行下文的梳理，一步一步推出梯度的來歷：

• 導數

導數的幾何意義可能很多人都比較熟悉: 當函數定義域和取值都在實數域中的時候，導數可以表示函數曲線上的切線斜率。 除了切線的斜率，導數還表示函數在該點的變化率。

將上面的公式轉化為下面圖像為：

（來自維基百科）

直白的來說，導數代表了在自變量變化趨于無窮小的時候，函數值的變化與自變量變化的比值代表了導數，幾何意義有該點的切線。物理意義有該時刻的（瞬時）變化率...

注意在一元函數中，只有一個自變量變動，也就是說只存在一個方向的變化率，這也就是為什么一元函數沒有偏導數的原因。

?

• 偏導數

既然談到偏導數，那就至少涉及到兩個自變量，以兩個自變量為例，z=f(x,y) . 從導數到偏導數，也就是從曲線來到了曲面. 曲線上的一點，其切線只有一條。但是曲面的一點，切線有無數條。

而我們所說的偏導數就是指的是多元函數沿坐標軸的變化率.

指的是函數在y方向不變，函數值沿著x軸方向的變化率

指的是函數在x方向不變，函數值沿著y軸方向的變化率

對應的圖像形象表達如下：

那么偏導數對應的幾何意義是是什么呢？

• 偏導數就是曲面被平面所截得的曲面在點處的切線對x軸的斜率

• 偏導數就是曲面被平面所截得的曲面在點處的切線對y軸的斜率

可能到這里，讀者就已經發現偏導數的局限性了，原來我們學到的偏導數指的是多元函數沿坐標軸的變化率，但是我們往往很多時候要考慮多元函數沿任意方向的變化率，那么就引出了方向導數.

?

• 方向導數

終于引出我們的重頭戲了，方向導數，下面我們慢慢來走進它

假設你站在山坡上，相知道山坡的坡度（傾斜度）

山坡圖如下：

假設山坡表示為,你應該已經會做主要倆個方向的斜率.

y方向的斜率可以對y偏微分得到.

同樣的，x方向的斜率也可以對x偏微分得到

那么我們可以使用這倆個偏微分來求出任何方向的斜率（類似于一個平面的所有向量可以用倆個基向量來表示一樣）

現在我們有這個需求，想求出u方向的斜率怎么辦.假設為一個曲面，為定義域中一個點，單位向量的斜率，其中是此向量與x軸正向夾角.單位向量u可以表示對任何方向導數的方向.如下圖：

那么我們來考慮如何求出u方向的斜率，可以類比于前面導數定義，得出如下：

?

設為一個二元函數，為一個單位向量，如果下列的極限值存在

此方向導數記為

則稱這個極限值是沿著u方向的方向導數，那么隨著的不同，我們可以求出任意方向的方向導數.這也表明了方向導數的用處，是為了給我們考慮函數對任意方向的變化率.

在求方向導數的時候，除了用上面的定義法求之外，我們還可以用偏微分來簡化我們的計算.

表達式是：（至于為什么成立，很多資料有，不是這里討論的重點）

那么一個平面上無數個方向，函數沿哪個方向變化率最大呢？

目前我不管梯度的事，我先把表達式寫出來：

設,

那么我們可以得到：

(α為向量與向量之間的夾角)

那么此時如果要取得最大值，也就是當為0度的時候，也就是向量I（這個方向是一直在變，在尋找一個函數變化最快的方向）與向量A（這個方向當點固定下來的時候，它就是固定的）平行的時候，方向導數最大.方向導數最大，也就是單位步伐，函數值朝這個反向變化最快.

好了，現在我們已經找到函數值下降最快的方向了，這個方向就是和向量相同的方向.那么此時我把A向量命名為梯度（當一個點確定后，梯度方向是確定的），也就是說明了為什么梯度方向是函數變化率最大的方向了！！！（因為本來就是把這個函數變化最大的方向命名為梯度）

總結

以上是生活随笔為你收集整理的为什么梯度反方向是函数下降最快的方向的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。