1 為什么要引入Momentum

上圖代表了一個函數的等高線

?

使用梯度下降的話，紅色的方向是我們要走的方向。藍色和綠色分別是兩個坐標軸上對應的變化方向。

這會存在一個問題，就是學習率不能太大，不然就會出現“overshoot”的問題

?于是我們的梯度下降路線是一個像九曲橋一樣的路徑

?不難發現，這樣會導致收斂的速度很慢?

其中，我們要優化的這個函數f，對應的hessian矩陣的最大和最小特征值的比值（我們稱為condition number）越大（也就是等高線“越扁”），梯度下降收斂得越慢

2 Momentum?

由于這里的截圖同時采用了李宏毅教授和NTU課程的ppt，所以λ和α表示的是一個東西

給梯度下降一個動量

移動方向為? 之前的移動方向? 和?? 當下梯度反方向?的矢量和

?每一步梯度對于當前梯度下降的方向都有貢獻，只是它的貢獻值指數級減少——EMA（exponential moving average）

?

通過momentum，大的方向會抵消掉一部分，小的方向會累加——加快收斂的速度?

抵消的部分——>指向的方向不同

加強的方向——>指向的方向相同

?

3 數據白化

除了momentum之外，數據白化操作（將數據變成N(0,1)的分布）也可以減少condition number。這也可以加快收斂。?

總結

以上是生活随笔為你收集整理的机器学习笔记：Momentum的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。