動量梯度下降法

我們現在介紹一下Momentum梯度下降法，運行速度快于標準的梯度下降法。其基本思想就是計算梯度的指數加權平均數，并利用該梯度來更新權重。

如圖所示，圖中藍色的代表batch或者mini-batch的梯度下降法，很可能這種梯度下降法的逼近就是以這種形式來逼近的。這種上下波動減慢了梯度下降法的更新速度。使你無法用更大的學習率。如果用更大的學習率可能就如圖中紫色線條所示，偏離了學習范圍。為了避免波動過大，你要使用一個較小的學習率。

從另外一個角度我們來看，我們希望在縱軸上學的慢一點，而在橫軸上學的快一點。Momentum梯度下降法剛好就可以解決這個問題。

像圖中下側所示的公式一樣，我們指數加權平均更新dw和db，然后再更新w和b。這樣就可以減少梯度下降的幅度。

就像圖中部分那些小箭頭一樣，如果我們平均的話，正負數相互抵消，在縱軸方向平均值就是0了。而在橫軸方向，因為所有的微分都指向橫軸方向，所以橫軸方向的平均值仍然較大。

momentum算法的名稱由來如下：

想象你有一個碗，有一個球從碗的邊緣滾下去，微分給了這個碗加速度，球因為加速度會越滾越快。ββ比一小，表現出一些摩擦力。因為向下獲得動量，所以稱之為momentum。

下面是如何具體實現

右側公式是刪了1?β1?β之后的結果，實際上，這兩個公式都是可以的。

吳教主深度學習和神經網絡課程總綱

總結

以上是生活随笔為你收集整理的2.2.3 动量梯度下降法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。